「训练分布」共找到 2170 篇相关文章
RL后训练步入超节点时代！华为黑科技榨干算力，一张卡干俩活
在大模型竞赛白热化当下，强化学习后训练成突破LLM性能天花板核心路径，但算力浪费和集群效率低是难题。华为团队祭出两大黑科技破局，在超节点实现训推共卡，资源利用率翻倍，还提升训练速度。
不靠海量数据，如何精准喂养大模型？上交Data Whisperer：免训练数据选择法，10%数据逼近全量效果
上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。
消费级显卡跑大模型训练门槛再降：Qwen3-1.7B强化学习只需5GB显存
消费级显卡跑大模型训练门槛再降，Unsloth AI的FP8精度强化学习方案让Qwen3 - 1.7B的GRPO训练只需5GB显存且性能无损。该方案与TorchAO合作，有推理优势，还在内存优化等方面表现出色。
Gemini 3预训练负责人警告：模型战已从算法转向工程化！合成数据成代际跃迁核心，谷歌碾压OpenAI、Meta的秘密武器曝光
2025年底大模型“年终决战”，Gemini 3强势突围。其预训练负责人Sebastian Borgeaud指出，谷歌转向“做系统”，AI进入“数据有限”阶段，合成数据等构成未来进化路径，还分享了预训练热点与挑战。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
北大彭一杰教授课题组提出RiskPO，用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。
具身VLA后训练：TeleAI提出潜空间引导的VLA跨本体泛化方法
现有VLA基座模型能力不足，跨本体适配存在挑战。中国电信人工智能研究院具身智能团队提出“对齐 - 引导 - 泛化”（ATE）框架，实现从调架构到调分布的范式转移，适配主流VLA模型，减少数据需求。
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
OpenClaw 能“边用边训”了：智能体强化学习训练框架 AReaL v1.0 稳定版发布
3月4日，蚂蚁集团联合清华发布开源强化学习训练框架AReaL v1.0稳定版，主打‘Agent一键接入RL训练’。它解决现有智能体框架接入训练成本高、缺乏持续进化能力的问题，还推出原生训练引擎Archon，集成AI辅助开发体系。
真正的AI竞争力，藏在大模型“后训练”这一步
当全球聚焦基座模型参数竞赛时，后训练变革正悄然发生。产业共识是，大模型后训练是AI落地产业必经之路。后训练技术从SFT演进至强化学习范式，企业应用也有了从技术到商业价值的完整链路。