算法论文8
浙大&蚂蚁:用中间结果提升扩散语言模型
机器之心
AI 摘要
浙大&蚂蚁团队:扩散大语言模型(dLLM)解码时存在信息浪费,有「先对后错」现象。提出 TCV 和 TCR 方法,利用中间结果,在推理任务上显著提升模型性能,还让输出更稳定精炼。
阅读原文 · 机器之心
dLLM的「Free Lunch」!浙大&蚂蚁利用中间结果显著提升扩散语言模型
近年来,扩散大语言模型(dLLM)成为文本生成新势力,生成效率高。但现有解码策略忽视中间迭代信息,研究团队观察到「先对后错」现象,提出 TCV 和 TCR 方法,显著提升模型在推理任务表现。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
人大蚂蚁团队发布LLaDA MoE v2及扩展定律
中国人民大学高瓴人工智能学院与蚂蚁集团合作,首次系统刻画混合专家扩散语言模型扩展定律,据此训练LLaDA MoE v2,实现扩展效率与智能双重突破,将推动其迈向规模化时代。
机器之心
算法论文8
人大DelTA算法提升强化学习推理正确率
人大高瓴研究团队提出DelTA算法,不依赖经验为强化学习目标中每个token算最优权重。实验显示它适配主流强化框架,在多任务上提升base模型效果,还能让训练更稳定。
量子位
算法论文8
阿里达摩院I²B-LPO提升RLVR推理性能
阿里达摩院智能决策团队提出面向RLVR后训练的探索增强框架I²B-LPO,改进rollout策略,在关键节点生成更具区分度的推理轨迹,结合信息瓶颈自奖励机制,在多个数学基准上提升准确率与语义多样性。
机器之心
算法论文8
何恺明团队新作ELF,连续扩散效果佳
何恺明团队提出ELF模型,将扩散过程置于连续向量空间,只在最后翻译成词。它用一个网络实现去噪和解码,引入自条件机制。实验显示,ELF用不到其他方法十分之一数据,生成质量全面领先。
机器之心