算法论文7

推理模型可自我训练

深度学习自然语言处理2025-06-02

AI 摘要

研究团队提出自我奖励训练（SRT），让模型用投票共识自我训练，在数学数据集上早期性能与人工标注强化学习相当，峰值性能提升大，但高难度数据集会崩溃，作者给出三种解决办法并开源代码。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

对错之外，推理轨迹暗藏训练价值

本文结合EchoRL、ReflectRL两项最新研究，重新解读推理轨迹的训练价值，解决全答对无强化信号、错题全丢弃的训练痛点，梳理方法设计、实验结果与适用边界，为大模型推理训练提供新参考。

本文报道OpenAI最新AI进展，其内部新模型批量攻破100多道长期悬而未决的公开数学难题，联合普林斯顿高等研究院成立独立学术顾问小组规范成果评估，引发数学界震动。

人大高瓴研究团队提出DelTA算法，不依赖经验为强化学习目标中每个token算最优权重。实验显示它适配主流强化框架，在多任务上提升base模型效果，还能让训练更稳定。

阿里达摩院智能决策团队提出面向RLVR后训练的探索增强框架I²B-LPO，改进rollout策略，在关键节点生成更具区分度的推理轨迹，结合信息瓶颈自奖励机制，在多个数学基准上提升准确率与语义多样性。