算法论文8
团队优化MDLM,提升推理性能与效率
机器之心
AI 摘要
复旦大学等团队针对掩码扩散大语言模型问题,提出<EOS>早期拒绝机制、幂次递增解码步长调度器和一致性轨迹分组策略优化,实验显示提升推理性能与效率,未来可探索混合推理模式。
阅读原文 · 机器之心
用更一致的轨迹、更少的解码步数「驯服」掩码扩散语言模型,扩散语言模型的推理性能和效率大幅提升
扩散大语言模型发展迅猛,或成下一代大语言模型基础范式有力竞争者。复旦大学等团队发布论文,提出高效解码策略与强化学习训练组合,解决MDLM解码和训练问题,提升推理性能与效率。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
传英伟达拟收购Reflection AI
本文是InfoQ编译的科技播客访谈,Reflection AI由前Google DeepMind Gemini团队成员创立,近期发布了5010亿参数的开放大模型Beam,主打编程、推理和智能体任务,发布一周后传出英伟达拟收购该公司的消息,访谈中分享了对开放模型诸多问题的观点。
InfoQ
新闻资讯9
九章云极问鼎陶哲轩数学挑战赛
本文报道九章云极言表实验室在陶哲轩发起的数学蒸馏挑战赛第二阶段拿下全部赛道满分,解决28个未解决开放数学问题,介绍了其可验证AI+强化学习的AI4S布局。
机器之心
算法论文9
对错之外,推理轨迹暗藏训练价值
本文结合EchoRL、ReflectRL两项最新研究,重新解读推理轨迹的训练价值,解决全答对无强化信号、错题全丢弃的训练痛点,梳理方法设计、实验结果与适用边界,为大模型推理训练提供新参考。
深度学习自然语言处理
算法论文8
小偏差为何带偏大模型RL训练
本文解读Together AI的新算法论文,讲解大模型强化学习中,采样端与训练端的微小偏差如何累积放大导致训练跑偏,介绍Score Centering校正方法的原理、效果与应用边界。
深度学习自然语言处理