「Self - Taught RLVR」共找到 78 篇相关文章
RL 效率无损飙升 3 倍:厦大-Shopee-清华联合首创,将投机解码首次引入 RL,推理能力稳如初!
传统RLVR训练中,rollout阶段耗时成瓶颈。厦大 - Shopee - 清华联合团队提出SPEC - RL,将投机解码引入RL,训练提速2 - 3倍,避免重复生成,与主流算法兼容,在多项基准测试中性能稳定。
DeepSeek-R1发布100天后:全面复盘推理大模型复现研究及未来!
推理语言模型(RLMs)发展显著,DeepSeek - R1发布引发广泛影响且未完全开源。MiroMind等总结其复现研究,关注SFT和RLVR方向,介绍数据构建、方法设计、训练过程细节及实验关键发现。
首次结合RL与SFT各自优势,动态引导模型实现推理⾼效训练
新一代大型推理模型在复杂推理有进展,核心是ZERO - RL训练法。华为香港研究所小艺团队等合作推出GHPO算法框架,融合在线强化学习与模仿学习,解决了RLVR方法局限,提升模型训练效果,代码数据开源。
一篇最新自演化AI Agents全新范式系统性综述
传统LLM Agent工作流固化,面对动态环境只能人工硬编码,成本高、迭代慢。此55页综述提出“Self - Evolving AI Agents”新范式,让Agent自主优化自身结构,还给出三定律、统一框架及各类优化方法。
从单领域到多能力协同:数据混合如何重塑AI的强化学习
上海AI Lab的OpenDataLab团队通过大规模实验剖析可验证强化学习(RLVR)在多领域推理中的机制,发现逻辑与数学数据相互支持、代码推理有跨领域混合效应等,为构建AI推理模型提供关键发现。
性能提升84%-166%!L-Zero仅靠强化学习解锁大模型探索世界的能力 | 已开源
招商局狮子山人工智能实验室团队用RLVR让模型“自学”,构建L0系统,含NB - Agent框架和端到端强化学习训练流程,开源相关内容。测试显示L0显著提升模型性能,展现强大泛化能力。
LLM加RL遭质疑:故意用错奖励,数学基准也显著提升,AI圈炸了
华盛顿大学等机构论文引爆AI界,其发现用虚假奖励训练Qwen2.5-Math-7B模型,也能提高MATH - 500成绩。虚假奖励对Qwen模型有效,但在其他模型上有限,凸显RLVR有效性与模型能力有关。
突破Pass@1瓶颈:一种让LLM自我博弈、永不枯竭的RL新范式,超越基线22.8%!
近年来,基于可验证奖励的强化学习(RLVR)在提升大型语言模型(LLM)推理能力上有关键作用,但存在熵崩溃问题。论文提出SVS创新策略,让模型自我合成变分问题形成自我提升循环,实验效果惊人。
Lumina-DiMOO:多模态扩散语言模型重塑图像生成与理解
上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO,它基于离散扩散建模,打破多模态任务壁垒。相比传统自回归架构模型,它解决了生成慢、质量受限等问题,在多项评测中夺魁。
第 2 章 主流 Agent 模式深度解析
文章深度解析主流 Agent 模式,用生活化类比介绍了 ReAct、Plan - and - Execute、Tool Use、Reflection / Self - Critique 四种模式,阐述其技术要点、优缺点及适用场景,还对多模式进行对比。