算法论文8
浙大&蚂蚁:用中间结果提升扩散语言模型
机器之心
AI 摘要
浙大&蚂蚁团队:扩散大语言模型(dLLM)解码时存在信息浪费,有「先对后错」现象。提出 TCV 和 TCR 方法,利用中间结果,在推理任务上显著提升模型性能,还让输出更稳定精炼。
阅读原文 · 机器之心
dLLM的「Free Lunch」!浙大&蚂蚁利用中间结果显著提升扩散语言模型
近年来,扩散大语言模型(dLLM)成为文本生成新势力,生成效率高。但现有解码策略忽视中间迭代信息,研究团队观察到「先对后错」现象,提出 TCV 和 TCR 方法,显著提升模型在推理任务表现。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯9
九章云极问鼎陶哲轩数学挑战赛
本文报道九章云极言表实验室在陶哲轩发起的数学蒸馏挑战赛第二阶段拿下全部赛道满分,解决28个未解决开放数学问题,介绍了其可验证AI+强化学习的AI4S布局。
机器之心
算法论文9
对错之外,推理轨迹暗藏训练价值
本文结合EchoRL、ReflectRL两项最新研究,重新解读推理轨迹的训练价值,解决全答对无强化信号、错题全丢弃的训练痛点,梳理方法设计、实验结果与适用边界,为大模型推理训练提供新参考。
深度学习自然语言处理
新闻资讯8
OpenAI攻破百道数学难题 普林斯顿介入
本文报道OpenAI最新AI进展,其内部新模型批量攻破100多道长期悬而未决的公开数学难题,联合普林斯顿高等研究院成立独立学术顾问小组规范成果评估,引发数学界震动。
AI寒武纪
算法论文8
人大蚂蚁团队发布LLaDA MoE v2及扩展定律
中国人民大学高瓴人工智能学院与蚂蚁集团合作,首次系统刻画混合专家扩散语言模型扩展定律,据此训练LLaDA MoE v2,实现扩展效率与智能双重突破,将推动其迈向规模化时代。
机器之心