「多轮 RL」共找到 328 篇相关文章
一点点偏差，为什么会把大模型 RL 带跑偏？
本文解读Together AI的新算法论文，讲解大模型强化学习中，采样端与训练端的微小偏差如何累积放大导致训练跑偏，介绍Score Centering校正方法的原理、效果与应用边界。
RL救不了泛化性！揭示LLM数学Reasoning的深层瓶颈
大型语言模型在数学竞赛级任务依赖机械化推理，现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力，实验揭示复杂度引发性能崩塌等问题，指出LLM创新组合难，给出改进方向。
DeepMind再登Nature：AI Agent造出了最强RL算法！
Google DeepMind团队提出DiscoRL，让智能体在多环境交互中自主发现强化学习规则，无需人类设计。它在Atari基准中击败MuZero，在未见过的游戏中也稳定高效，相关研究登《Nature》。
假如有一万张卡，RL训练该怎么扩大规模？十万张呢？
本文是腾讯混元团队针对大模型强化学习规模化训练的研究，聚焦万卡级算力下Batch Size优化问题，拆分样本效率与系统效率的影响，给出可落地的调优框架，实测可缩短29%训练时间。
又走一个！OpenAI研究VP离职，转投Anthropic做RL研究员
OpenAI研究副总裁Max Schwarzer宣布离职，转投Anthropic做RL研究员。他曾主导o1、o3和GPT - 5系列post - training，因渴望回归一线研究而离开。OpenAI近年人才流失严重，而Anthropic虽面临与五角大楼交锋危机，但仍吸引人才。
SFT+RL双管齐下：ReasonGen-R1如何破解文生图「指令不遵」难题？
上海科技大学等机构提出 ReasonGen-R1 框架，结合链式推理监督微调与强化学习，提升自回归图像生成模型推理和创作能力，已全面开源。介绍了其训练阶段、实验结果及推理链模式。
极简RL新范式：一半算力刷新1.5B模型推理SOTA
过去为提升中小参数量模型推理能力，开发者构建复杂RL流水线。JustRL论文提出极简、单阶段、固定超参训练方案，在两主流1.5B模型上刷新SOTA，节省2倍算力，消融实验还揭示部分技巧会致性能退化。
首次结合RL与SFT各自优势，动态引导模型实现推理⾼效训练
新一代大型推理模型在复杂推理有进展，核心是ZERO - RL训练法。华为香港研究所小艺团队等合作推出GHPO算法框架，融合在线强化学习与模仿学习，解决了RLVR方法局限，提升模型训练效果，代码数据开源。
数据合成篇｜多轮ToolUse数据合成打造更可靠的AI导购助手
文章以租赁导购助理“小不懂”为例，介绍Tool Use训练数据合成方案。先分析训练数据的目标与难点，提出动态多智能体对话生成框架，阐述多轮数据、复杂问题合成及过滤方案，展示数据和模型效果，还提及未来工作方向。
RL训练总崩溃？R1-Reward稳定解锁奖励模型Long-Cot推理能力
多模态奖励模型对提升多模态大语言模型表现至关重要，但强化学习在奖励建模应用有挑战。快手等团队提出R1 - Reward，解决训练不稳定等问题，在基准上超SOTA模型，还在快手业务场景成功应用。