搜索：强化学习框架

「强化学习框架」共找到 2849 篇相关文章

强化学习的进化：从PPO到MaxRL，LLM推理训练的算法演进史

本文概述2024 - 2026年推理LLM的强化学习进展，从REINFORCE和PPO讲起，介绍GRPO、RLOO等多种算法。指出critic模型非必需，标准差归一化有副作用，损失聚合很关键，信任域是优化切入点，还提出几个未解决的挑战。

上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略，基于Qwen2.5 - 7B系列模型联合训练，有多项关键发现，为构建AI推理模型提供参考。

NuerIPS唯一满分论文结论惊人，指出真正决定推理上限的是基座模型本身而非强化学习，且蒸馏比强化学习更有望实现大模型自我进化，这给正火热的RLVR泼了冷水。

大语言模型在高考数学拿高分靠强化学习，但文科题无标准答案，此方法行不通。豆包1.6系列高考文科全科获683分，靠训练数据、思维链、长上下文和多模态直接读图等因素。

大模型在企业落地时存在“过度反思”问题，浪费算力。YuanLab.ai团队在Yuan3.0 Flash模型中提出RIRM与RAPO，前者奖励“思考过程”，后者优化训练框架，实现推理效率提升，适用于企业场景。

OpenAI的Kevin Lu离职，下一站是估值120亿美元的Thinking Machine Lab。他毕业于UC伯克利，在OpenAI领导完成4o - mini，擅长小模型和强化学习。他认为应关注互联网数据，停止强化学习研究转做产品开发。

HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。

4月8日，加州理工学院等联合团队在arXiv发布论文，证明小型量子计算机处理部分机器学习任务时，可用指数级更少内存超越经典计算机。研究绕开QRAM，提出算法框架验证优势，但仍待真实硬件验证。

开源具身智能原生框架 Dexbotic 宣布支持 RLinf 作分布式强化学习后端，打通 VLA 模型研发中「SFT 与 RL 割裂」问题。其 2.0 版实现模块化解耦与多源混训，构建开发闭环，孵化出 DM0 大模型。

Moxin-7B由多机构团队联合开发，遵循“开源科学”原则，公开全流程细节。它训练成本仅16万美元，评测表现亮眼，在架构、数据策略、训练过程等方面有创新，为中小企业提供可控AI方案。