「RL Scaling」共找到 448 篇相关文章
少说‘Wait’,多做题:NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词,触发冗余验证循环,拖慢速度、增加算力消耗。NoWait方法零训练成本,通过抓关键词、扩展变体、实时屏蔽,让模型跳过废话,在多任务中表现出色,且颠覆对推理的认知。
揭秘LLM“思考”之谜:推理即“梯度下降”,元学习框架解构训练过程,还给优化提供新思路
上海AI Lab团队提出RaML框架,从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性,还对比不同训练策略,指出RaML为优化LLM性能提供新思路。
训练MoE足足提速70%!华为只用了3招
Scaling Law下,MoE成扩展模型能力法宝,但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案,还打造DeployMind仿真平台,解决了MoE训练中通信等待、负载不均等问题,使训练吞吐提升72.6%。
全球首个!10万小时人类数据全开源,Hugging Face罕见站台
上周Dyna Robotics公司用超100万小时人类第一视角视频训练DYNA - 2模型,发现物理AI有Scaling Law。8月20日光轮智能宣布10万小时全模态人类行为数据EgoSuite - Open100K开源,与Hugging Face联合发布。
拆解 Anthropic:最好的 AI 公司,可能也都是一种组织发明
过去一年,Anthropic 是 AI 行业最值得研究的公司,创造了最快爆发性增长,估值反超 OpenAI。文章从战略判断和组织文化两方面拆解其成功原因,分析与 OpenAI 的差异,还指出 AI 竞争中组织文化的重要性。
重新审视SFT的泛化能力:优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆,RL实现泛化’观点,指出SFT泛化是条件性现象,受优化动态、训练数据、基模型能力影响,还揭示长思维链SFT会带来安全性能退化。
让大模型异步地增强推理能力
在大模型推理时代,Test - Time Scaling成提升能力重要方向,但面临效率问题。ATTS提出异步框架,加入共形预测筛选候选路径,实验显示其加速显著,将测试时扩展推进到‘有原则加速’阶段。
智能体时代的强化学习:AReaL 框架与 Agent 最佳实践
本文整理自吴翼博士在 2025 年 QCon 全球软件开发大会的分享。他介绍 AReaL 框架及 Agent 最佳实践,阐述强化学习与大模型联系,指出 Agent 是 AGI 未来 5 年关键,强化学习是 Agent 技术核心,还分享团队成果与经验。
忘掉大模型,微软实证:小模型才是Agentic AI的未来!
过去两年大模型在数学竞赛题上靠Test - Time Scaling发展遇天花板。微软rStar2 - Agent让14B小模型学会‘写代码→跑结果→改思路’,表现出色。还介绍了其基础设施、算法、训练配方等方法。
1亿美元买不走梦想!但只因奥特曼这句话,他离开了OpenAI
全球AI军备竞赛烧掉3000亿美元,但真正研究「对齐问题」的人不足千人。Anthropic核心成员Benjamin Mann揭秘,2020年底OpenAI安全团队因安全优先级降低集体出走。他拒绝扎克伯格1亿美元邀约,强调AI要把安全放首位。