「训练方法升级」共找到 4013 篇相关文章
一篇持续强化学习技术最新综述
文章对持续强化学习（CRL）进行全面考察，关注其核心概念、挑战和方法，提出新的分类体系，从知识存储和/或转移角度将CRL方法分为四类，并分别介绍各类方法特点。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
RL 效率无损飙升 3 倍：厦大-Shopee-清华联合首创，将投机解码首次引入 RL，推理能力稳如初！
传统RLVR训练中，rollout阶段耗时成瓶颈。厦大 - Shopee - 清华联合团队提出SPEC - RL，将投机解码引入RL，训练提速2 - 3倍，避免重复生成，与主流算法兼容，在多项基准测试中性能稳定。
补齐OpenClaw进化拼图！AReaL v1.0开源，智能体强化学习「一键接入」
2026 年 Agent 仍是热门赛道，OpenClaw 热度持续。但 Agent 强化学习训练缺乏成熟体系。蚂蚁和清华联合打造的 AReaL v1.0 开源，实现 Agent 一键接入 RL 训练，还革新了训练引擎，降低开发门槛。
豆包背后的“超算大脑”：字节ByteRobust系统跑20多万张GPU，性能刷新SOTA
字节跳动自研的ByteRobust系统登上SOSP 2025，部署于超20万张GPU平台，9600张GPU训练三个月ETTR达97%。该系统应对LLM训练故障，由控制和数据平面构成，能自动发现修复故障，提升训练效率与稳定性。
多模态大模型别盲目刷题！诊断-生成-强化闭环，找准盲点 | ICML'26
多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。
北大团队发布首篇大语言模型心理测量学系统综述：评估、验证、增强
随着大语言模型（LLM）能力迭代，传统评估方法难满足需求。北大宋国杰教授团队论文首次系统梳理LLM心理测量学研究进展，革新评估原则，扩展测量构念与方法，还给出增强方法与未来研究方向。
大模型全面爆发，所有榜一都是Gemini！谷歌一夜站到了台前
北京时间今日凌晨，Google I/O 2025 开发者大会开启。谷歌发布或升级系列 AI 工具与服务，如升级 Gemini 模型、推出编程智能体 Jules 等，还展示视频图像生成模型、搜索与购物模式升级，展现其在 AI 应用领域强势回归。
“坏”数据让模型更“好”？重新审视数据过滤
传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。