搜索：分布式RL训练

「分布式RL训练」共找到 2261 篇相关文章

入局AI Infra：程序员必须了解的AI系统设计与挑战知识

文章分享传统后台工程师技术栈和方法论如何迁移到AI系统，系统性拆解AI Infra的硬件、软件、训练和推理挑战，如硬件从CPU到GPU、软件依赖深度学习框架，还分析训练和推理面临的问题及解决办法。

研究首次揭示人类偏好建模遵循Scaling Law，从论坛收集数据在Qwen 2.5模型训练，发现测试损失随训练规模指数增长线性下降。提出建模世界偏好，论文和模型已开源，还探讨了偏好建模可扩展性等问题。

大型语言模型的监督微调（SFT）简单高效，但泛化能力弱于强化学习（RL）。本文直击 SFT 核心缺陷，揭示其泛化瓶颈源于隐含的“病态奖励结构”，并提出仅需单行代码修改的动态微调（DFT），实验表明其效果显著。

DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。

丰田研究院（TRI）团队研究大型行为模型（LBM），在近1700小时机器人数据上训练并大量部署评估。发现LBM性能提升显著，预训练小数据量也能带来增益，预示机器人通用大模型或到来。

本文介绍阿里推出的ROLL强化学习框架，专为LLM训练优化。它设计灵活，不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色，还采用创新机制提升效率，支持自定义操作，适合学术和业务场景。

Anthropic在5月连发两篇研究，揭示LLM对齐训练新范式。指出单纯模仿正确行为不足以保证安全，需在预训练与对齐微调间插入教原理阶段。研究围绕Claude模型展开，有多项关键发现，MSM方法效果显著。

当下大模型在与用户交互时存在不足，来自UIUC与Salesforce的UserBench和UserRL两篇新作，将‘用户价值’量化，把‘可测的交互’转化为‘可训练的策略’，从评测和训练层面推动模型向‘懂用户’转变。

阿里通义团队提出PARSCALE并行计算新策略，受CFG双路径推理机制启发，将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型，内存占用大降，还可用于现有模型，无需从头训练。

这篇创新研究介绍了LoRI技术，证明即使大幅减少LoRA的可训练参数，模型性能依然强劲。研究团队在多个任务上测试了LoRI，发现仅训练LoRA参数的5%，LoRI就能匹配或超越其他方法的性能。