「中训练」共找到 4173 篇相关文章
Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍
大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。
两个LLM互相对线，推理能力起飞：康奈尔团队发布大模型版类GAN训练法
康奈尔大学团队提出面向大语言模型的类GAN训练框架PasoDoble，通过对抗训练两模型提升推理能力，不依赖外部监督，在多模型实验中显著提升数学基准表现，不过在部分领域外任务有局限。
阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜
阿里开源长文本深度思考模型QwenLong - L1，登上HuggingFace热门论文第二。它解决了长文本强化学习训练难题，通过渐进式上下文扩展训练，在多基准测试中表现出色，还探讨了SFT和RL作用。
让图像生成告别 AI 味！清华 + 港中大 + 腾讯混元联手推出SRPO
腾讯混元联合港中大、清华推出SRPO，解决文生图技术痛点。它结合Direct - Align和SRPO，提升图像审美等，训练时间缩至十分钟，在测试中碾压主流方法，不过对冷门风格控制和机制可解释性待提升。
从后训练回到预训练，LLM+RL 的潜力兑现有有机会走更远吗？
RL与LLM结合是重要技术方向，应用从后训练延伸至预训练。虽看似为LLM+RL带来希望，但RL本身有局限。微软等提出的RPT有潜力，不过训练语料等未广泛验证，且需大量计算资源。
RL训练一层就够了！单层RL超越全参数训练，跨任务跨模型跨算法全部验证
明尼苏达大学、北大和亚马逊团队研究发现，RL收益集中在中间层，训练单层可超全参数训练。他们提出层贡献度指标，经多模型、算法、任务实验验证，还给出三种训练优化策略。
别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练
CMU、斯坦福等四大名校研究团队挑战“预训练规模越大越好”观点，提出“灾难性过度训练”现象，即增加预训练数据可能导致后训练性能下降，并从现实证据、控制实验、理论分析等方面阐述新研究贡献，还介绍了相关实验及结论。
斯坦福教授直播训练535B大模型，模型训练背后的「黑箱」正在被打开？
斯坦福教授Percy Liang宣布由Marin开放实验室启动训练Marin 535B - A23B模型，全程公开。过去大模型训练像“黑箱”，此次尝试让训练可观察、可讨论、可协作，引发网友关注。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
小钢炮开源，一张3090两小时「从零训练0.1B全模态模型」，模型训练彻底平民化
MiniMind - O是开源超轻量级端到端全模态大模型，采用双轨架构。仅需一张RTX 3090，2小时就能从零训练全链路。有两套训练数据，具备零样本声音克隆等特点，实现大模型训练平民化。