算法论文8

腾讯优图：Training-Free GRPO让大模型RL优化变廉价

机器之心2025-10-22

AI 摘要

GRPO是常见RL算法，但训练成本高，中小团队玩不起。腾讯优图提出Training - Free GRPO，将其训练范式迁移到上下文学习，成本低、泛化好，在数学推理和网页搜索场景效果佳，已开源。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

V-Rubrics细化多模态强化学习奖励

本文介绍南洋理工大学等机构研究团队提出的V-Rubrics方法，解决多模态推理中结果正确但推理错误的奖励分配误区，通过35万条细粒度准则拆分奖励计算，有效提升模型性能，论文已被EMNLP 2026主会接收，代码与数据已开源。

本文结合EchoRL、ReflectRL两项最新研究，重新解读推理轨迹的训练价值，解决全答对无强化信号、错题全丢弃的训练痛点，梳理方法设计、实验结果与适用边界，为大模型推理训练提供新参考。

本文解读Together AI的新算法论文，讲解大模型强化学习中，采样端与训练端的微小偏差如何累积放大导致训练跑偏，介绍Score Centering校正方法的原理、效果与应用边界。

本文聚焦机器人学习人类操作的数据痛点，灵初智能提出逆向生成强配对数据的新思路，升级Psi-R2.5模型，提升数据可用性，降低新任务适配成本，方案已落地客户现场。