「分布式RL训练」共找到 2261 篇相关文章
Agent开始“自我进化”:会出题、会反思,还会自己长出新技能
文章围绕自进化Agent展开,介绍其概念、受重视原因及三大技术路线,涵盖各路线代表工作的特点、评估及对比,指出研究空白如总结者训练等,最后还介绍了基于Agentic AI的全链路数据助手Dola。
用中等难度prompt做高效post training
近年来,RL后训练在LLM发展中至关重要,但传统方法效率低。本文提出PCL轻量级算法,通过动态选中等难度提示提升LLM后训练效率,经多基准实验验证其优越性,也指出方法局限与未来方向。
CVPR 25 |全面提升视觉感知鲁棒性,生成模型快速赋能三维检测
香港中文大学(深圳)等单位学者提出 DriveGEN 无训练自动驾驶图像可控生成方法,无需额外训练生成模型,通过两阶段策略扩展训练数据,提升三维检测模型鲁棒性,代码已开源。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开,指出当前大模型训练不充分,介绍了算法层面如混合注意力机制、模型结构优化、优化器等,工程层面如细粒度专家并行、算子内核开发等,以及后训练的范式转变和领域专家网络蒸馏等内容。
SimpleTIR:让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤,掐断崩溃链路,训练稳定,还催生多样推理行为,且工程友好已开源。
让AI自我进化?斯坦福华人博士答辩视频火了,庞若鸣参与评审
斯坦福大学博士生 Zitong Yang 完成「持续自我提升式 AI」博士论文答辩并分享视频。他针对当前模型局限提出解决方案,涵盖合成持续训练、预训练能力自我提升、迈向 AI 设计 AI 三个核心方向,引发行业关注。
快手提出强化学习创新框架RLEP,突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力,但面临训练不稳定等挑战。快手Klear团队提出RLEP框架,引入经验回放技术,分经验收集和回放训练两阶段,还采用优化策略,提升大模型训练效率和性能。
阿里深夜开源王炸Agent!硬刚OpenAI,性能全面SOTA!
过去半年,开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型,用完整可复现方法论挑战闭源霸权,通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。
港大赵恒爽团队论文:让扩散模型既拿高分又不「作弊」丨CVPR 2026
扩散模型虽能生成逼真图像,但存在“奖励作弊”问题。港大赵恒爽团队提出 GDRO 后训练方法,引入组级奖励优化机制,提升模型表现、缓解作弊,还提高训练效率,有明显工程价值。
豆包背后的“超算大脑”:字节ByteRobust系统跑20多万张GPU,性能刷新SOTA
字节跳动自研的ByteRobust系统登上SOSP 2025,部署于超20万张GPU平台,9600张GPU训练三个月ETTR达97%。该系统应对LLM训练故障,由控制和数据平面构成,能自动发现修复故障,提升训练效率与稳定性。