算法论文8

新研究：跳过 SFT，RL 推理上限更高

机器之心2025-06-01

AI 摘要

加州大学等团队研究发现，当前常用的「SFT+RL」训练范式中，SFT 会诱发「伪推理路径」，阻碍推理进步。直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型刷新了 Open LMM 推理榜单纪录。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

V-Rubrics细化多模态强化学习奖励

本文介绍南洋理工大学等机构研究团队提出的V-Rubrics方法，解决多模态推理中结果正确但推理错误的奖励分配误区，通过35万条细粒度准则拆分奖励计算，有效提升模型性能，论文已被EMNLP 2026主会接收，代码与数据已开源。

本文结合EchoRL、ReflectRL两项最新研究，重新解读推理轨迹的训练价值，解决全答对无强化信号、错题全丢弃的训练痛点，梳理方法设计、实验结果与适用边界，为大模型推理训练提供新参考。

本文解读Together AI的新算法论文，讲解大模型强化学习中，采样端与训练端的微小偏差如何累积放大导致训练跑偏，介绍Score Centering校正方法的原理、效果与应用边界。

本文报道小米开启史无前例的大模型训练直播，6天花费约2344万元完成MiMo-V2.6系列强化学习训练，训练出的MiMo-V2.6-Pro登顶开源大模型第一，全套技术资源全部开源，引发AI行业热议。