「预训练时代」共找到 3311 篇相关文章
人民想念DeepSeek
文章探讨AI时代Token相关问题。指出其消耗大、价格贵，存储价格上涨使Token降价缺杠杆，虽模型能力提升、MFU优化可降本，但传导到C端取决于商业考量。还回顾大模型价格战，介绍本地部署及芯片创新方案。
当数据库的主要用户不再是人类：我们在 AI Agent 场景下的架构实践与思考
文章分享了服务 AI 公司时在 Agent 场景下数据库架构的实践与思考。介绍 Agent 工作负载特征，通过三个案例说明数据库面临的挑战及解法，还提到新需求催生开源项目 mem9，并给出实践教训，指出 AI 时代数据基建重要性。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
ICLR 2026 Oral｜多模态知识图谱对齐难：破解噪声关联至为关键
在数据多元化时代，多模态知识图谱能为下游应用提供数据支撑，实体对齐是构建知识图谱的核心技术。但大规模知识图谱关联与融合面临噪声和潜隐关联挑战。四川大学团队提出 RULE 方法，缓解了这些影响，论文被 ICLR 2026 接收为 Oral。
对话原力灵机周而进：模型2.4B就够用，关键是“具身原生”；能闭环才是最高效方法
原力灵机推出首个具身原生模型产品DM0，仅2.4B参数，却能支撑实时处理画面与真机进化。其合伙人周而进称要走具身原生路线，还介绍了数据采集、模型训练等多方面内容及公司发展规划。
刚刚，面壁小钢炮开源进阶版「Her」，9B模型居然有了「活人感」
2月4日，面壁开源全双工全模态大模型MiniCPM - o 4.5，在多方面达SOTA水平。它能边看边听边说，实现自主交互。实测中表现如真人，其架构和机制有创新，还适合端侧部署，或开启人机交互新时代。
斯坦福&英伟达提出新范式：推翻Scale Law，在“推理”阶段自我进化，超越人类专家
斯坦福和英伟达提出 TTT - Discover 新范式，允许模型在测试时继续训练，针对难题‘进化’。它设计了自适应熵目标函数和 PUCT 状态复用组件，实验在多领域碾压人类专家与同行，但在部分领域落地有局限且计算成本高。
智能体崛起，AI+软件研发到新拐点了？
InfoQ《极客有约》X AICon 直播探讨 LLM 时代软件研发新范式。嘉宾认为 AI 在研发中是提效工具，距原生开发尚远；部分开发环节已由 AI 接手，落地面临稳定性等问题；未来智能体协作是趋势，部分工程师价值将放大。
OpenAI被曝瞄准AI音乐赛道商业化，Suno首当其冲
据悉，OpenAI已和艺术学院合作许久，不久将进军AI音乐。它正与茱莉亚学院学生合作标注乐谱用于模型训练，还可能探索To B市场。此前OpenAI就有音乐模型尝试，此次或因Suno盈利佳而重拾音乐梦，Suno恐受冲击。
Thinking Machines又发高质量博客：力推LoRA，不输全量微调
Thinking Machines 博客力推 LoRA 并与全量微调对比。研究发现小数据量任务中 LoRA 与全量微调效果接近，大数据量稍吃力，强化学习中低秩 LoRA 也能接近全量微调。还揭示了 LoRA 关键要素、超参数规律等。