「强化预训练」共找到 2567 篇相关文章
上海AI Lab提出CANON:让RLVR自主识别优质推理模式
上海AI Lab与上海交大团队提出创新框架CANON,解决将人类先验知识融入RLVR训练的难题。它通过条件分组与对比机制,自适应放大有益指标变化趋势,在数学和逻辑推理任务上成果卓越,还能提升推理效率。
汪军对话 Rich Sutton:大模型在一定程度上分散了我们对智能理解的注意力
在RL China 2025开幕式上,汪军与图灵奖得主Richard Sutton对话。Richard认为大模型缺乏目标和奖励,分散对智能理解的注意力。他强调RL核心是从经验学习,智能原则含梯度下降等,建议将目标解读为“奖励”。
加速近5倍!北大与字节团队提出BranchGRPO,用「树形分叉 + 剪枝」重塑扩散模型对齐
北京大学与字节团队提出 BranchGRPO 新型树形强化学习方法,通过在扩散反演中引入分叉与剪枝,解决扩散/流匹配模型人类偏好对齐难题。该方法在图像与视频生成任务中表现优异,迭代时间最高近 5 倍加速。
刚刚,Thinking Machines Lab首次发长文,揭开LLM推理不确定性真相
Thinking Machines Lab发长文《克服LLM推理中的不确定性》,指出大语言模型推理不确定性的真正元凶是缺乏批次不变性,还解释核函数计算中数字加法顺序问题,介绍使核具有批次不变性的方法并给出实验结果。
李飞飞一年前究竟说了啥?怎么又火了
AI教母李飞飞一年前访谈再引关注,她指出大语言模型或许并非真正智能,其基于一维语言信号训练,在理解三维物理世界存在局限。相关实验也证实大模型在物理任务表现差,不过也有人提出不同观点。
刚刚,OpenAI前CTO Mira Murati公司Thinking Machines Lab发文,揭开了大模型不确定性的真相
OpenAI前CTO Mira Murati创立的Thinking Machines Lab推出研究博客Connectionism,首篇文章聚焦LLM推理的非确定性问题。研究发现真正原因是批次不变性缺失,提出实现批次不变内核的方案,实验效果显著。
OpenAI/微软争夺AGI控制权!重组谈判激烈,年底谈不成软银700亿或撤
OpenAI与微软就重组问题谈判胶着,核心在控制权与确定性,如多云是否松口、微软能否获取训练细节、AGI条款去留。这影响微软持股价值和软银投资,年底是关键节点,若重组未完成,软银或撤回100亿美元。
隐形束缚:RLVR为何无法突破LLM的推理边界?
大型推理模型进展依赖带可验证奖励的强化学习(RLVR),但它能否扩展模型推理能力存疑。本文通过理论证明与实验,揭示RLVR存在“隐形束缚”,只能在基座模型初始能力内优化,难以发现新解。
拳打可灵,脚踢 Veo 3,谁是物理世界的「懂王」?
多模态视频生成大模型是复杂系统工程,多为巨头游戏。MiniMax的Hailuo 02发布,ELO得分超谷歌Veo 3和快手Kling 2.0。它能呈现复杂运动,处理物理关系,提升训练推理效率,成本低,后续还将更新。
对谈 DeepSeek-Prover 核心作者辛华剑:Multi Agent 天然适合形式化数学 |Best Minds
文章是对 DeepSeek-Prover 核心作者辛华剑的访谈。他认为强化学习是 AGI 关键解法,Multi Agent 适合形式化数学。还探讨了 DeepSeek Prover 进展、数学与 AGI 关系、评测基准等,指出未来有全才模型和自主 Agent 出现。