「预印本」共找到 325 篇相关文章
Ilya罕见发声：大模型「大力出奇迹」到头了
Ilya大神在近2万字采访中称，AI正从「规模时代」走向「科研时代」，主流「预训练 + Scaling」路线遇瓶颈。他还探讨了AI泛化、安全对齐、预训练范式等热门话题，给出独特见解。
让AI自我进化？斯坦福华人博士答辩视频火了，庞若鸣参与评审
斯坦福大学博士生 Zitong Yang 完成「持续自我提升式 AI」博士论文答辩并分享视频。他针对当前模型局限提出解决方案，涵盖合成持续训练、预训练能力自我提升、迈向 AI 设计 AI 三个核心方向，引发行业关注。
「Next-Token」范式改变！刚刚，强化学习预训练来了
微软新研究提出「强化预训练（RPT）」新范式，将下一个 token 预测任务重新定义为推理任务，可利用海量文本数据进行通用强化学习。该方法有可扩展性、低风险等优点，实验显示其提升了语言建模能力。
阿里Qwen3技术报告核心要点解读！
阿里Qwen3技术报告发布，披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构，预训练数据量和语种增多，后训练采用强到弱蒸馏提升性能，各模型表现优异。
“坏”数据让模型更“好”？重新审视数据过滤
传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。
2026“企业 Agent 上岗元年”？零一万物六大判断定义企业多智能体，不再沿用大厂标准化产品模式”
1月5日，零一万物发布《中国企业智能体2026六大预判》，展示“万智2.5企业多智能体”。基于实践总结六大核心预判，还升级万智平台，不沿用大厂标准化模式，规划企业多智能体进化“三步走”布局。
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’？揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文，指出预训练大模型存在‘抗对齐’的 Elasticity 现象，即对齐微调只是暂时拉伸，后续微调会让其迅速弹回预训练分布。研究量化该概念，用‘压缩理论’刻画对齐并实验验证。
表格建模也能Scaling？树模型的时代要改变了
文章指出 AI 算力增长与结构化数据建模以树模型为主形成反差。浙大 X 蚂蚁 AIforData 团队探索结构化数据预训练，在表格数据和行为序列预训练上有成果，验证了 Scaling Law，预示结构化数据建模范式将改变。
不踩点不微调！Figure最新模型盲测30个家庭：首次实现零样本全身泛化
人形机器人公司Figure发布最新端到端具身模型Helix 2.5，在30套未采集训练数据的陌生住宅开展全盲家务测试，验证Index预训练可让模型实现零样本全身泛化，整体成功率56%，远高于对照组的9%，证明人形机器人跨场景迁移的工程可行性。
半年复盘，AI迎来预训练后的新瓶颈。
2025年上半年AI领域发展加速，编码和多模态能力提升。但模型在综合能力上遇到第二轮瓶颈，编码能力强时通用认知能力‘拉胯’，或与RL阶段使用编程数据有关，红杉新基准或推动模型均衡发展。