算法论文8

作业帮等团队：GVPO 重构大模型后训练范式

机器之心2025-10-14

AI 摘要

作业帮与香港科大（广州）团队：提出 GVPO 解决 GRPO 训练不稳定问题，有唯一最优解保证，实验全面领先，让大模型后训练从‘经验’走向‘理论’，或带来范式转变。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

V-Rubrics细化多模态强化学习奖励

本文介绍南洋理工大学等机构研究团队提出的V-Rubrics方法，解决多模态推理中结果正确但推理错误的奖励分配误区，通过35万条细粒度准则拆分奖励计算，有效提升模型性能，论文已被EMNLP 2026主会接收，代码与数据已开源。

本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。

大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。

本文概述2024 - 2026年推理LLM的强化学习进展，从REINFORCE和PPO讲起，介绍GRPO、RLOO等多种算法。指出critic模型非必需，标准差归一化有副作用，损失聚合很关键，信任域是优化切入点，还提出几个未解决的挑战。