「RL训练方法」共找到 3400 篇相关文章

算法论文8

一点点偏差,为什么会把大模型 RL 带跑偏?

本文解读Together AI的新算法论文,讲解大模型强化学习中,采样端与训练端的微小偏差如何累积放大导致训练跑偏,介绍Score Centering校正方法的原理、效果与应用边界。

深度学习自然语言处理
开源动态8

Thinking Machines 发布又一神作「在线策略蒸馏」 ,LLM后训练效率飙升50-100倍

Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法,结合两种主流后训练范式优点,提升训练效率50 - 100倍,成本降低9到30倍,可用于数学推理、模型个性化等场景。

AI寒武纪
算法论文8

英伟达揭示RL Scaling魔力!训练步数翻倍=推理能力质变,小模型突破推理极限

学界对强化学习能否让模型学会新推理技能争论已久,过去研究多悲观。英伟达研究指出,问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数,释放小模型潜力,还构建技术组合拳。

机器之心
产品应用8

英伟达祭出NVFP4核弹:大模型训练根本性转变,GB300效率狂飙7倍

英伟达推出新格式NVFP4,能以4 - Bit速度与效率实现16 - Bit生产件级训练精度,是LLM开发重大飞跃。虽处于研究阶段,但正与多组织合作。还介绍其方法、优势,实验也证明它在大规模训练的有效性。

AI寒武纪
算法论文8

Anthropic 最新论文:阻止 AI 叛变的方法

Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”,因模型只学行为未理解原因。提出MSM方法,在训练中加一步,让模型理解规则背后价值观,使叛变率大幅降低。

AGI Hunt
开源动态8

个人电脑也能进行智能体RL训练?尤佳轩团队开源OpenTinker

伊利诺伊大学厄巴纳 - 香槟分校尤佳轩团队开源OpenTinker,这是全新‘强化学习即服务’系统。它通过解耦架构和友好API,让开发者在不同算力设备启动智能体训练,解决传统RL框架难题,指明下一代智能体基建方向。

机器之心
推荐文章7

RL Infra 行业全景:环境和 RLaaS 如何加速 RL 的 GPT-3 时刻

文章指出RL Scaling正推动AI从“人类数据时代”迈向“Agent体验时代”,RL Infra可弥合模拟与现实差距。梳理了RL环境、RLaaS、数据/评估三大模块,分析代表公司案例,探讨RL未来趋势与投资策略。

海外独角兽
算法论文8

视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL

数字化时代视觉信息愈发重要,传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练,革新检索生成范式,提升视觉语言模型多方面能力,代码已开源。

PaperAgent
算法论文8

人大高瓴赵鑫团队新作:先拆掉 RLVR,再重建推理模型训练

人大高瓴赵鑫团队围绕RLVR框架做系统实验,完成论文《A3PO: Adaptive Asymmetric Advantage Shaping for Reasoning Models》,提出A3PO方法。该方法将训练重点转向关键决策点,让推理模型学习更可控。

AI科技评论
开源动态8

他们让万亿参数RL学会了「省着跑」,顺便砍掉九成算力

2025年,强化学习成大模型进化主战场,但万亿参数模型跑RL成本高。Mind Lab团队实现1T参数模型LoRA高效RL训练,GPU消耗降90%,技术开源。此外还有Memory Diffusion记忆机制等成果。

量子位