「训练不稳定」共找到 2169 篇相关文章
AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足
大模型训练成本高，降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知，揭示FP4训练不稳定源于结构性微缩放误差，非随机性不足，还在原生FP4硬件完成大模型预训练。
大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销
字节团队提出全新语言模型训练方法PCL，首次打破训练与推理对称约束，实现‘训练-推理不对称’。在训练时让模型反思评估结果，推理时仅输出答案，零额外开销，显著提升模型能力。
Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍
大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。
从后训练回到预训练，LLM+RL 的潜力兑现有有机会走更远吗？
RL与LLM结合是重要技术方向，应用从后训练延伸至预训练。虽看似为LLM+RL带来希望，但RL本身有局限。微软等提出的RPT有潜力，不过训练语料等未广泛验证，且需大量计算资源。
RL训练一层就够了！单层RL超越全参数训练，跨任务跨模型跨算法全部验证
明尼苏达大学、北大和亚马逊团队研究发现，RL收益集中在中间层，训练单层可超全参数训练。他们提出层贡献度指标，经多模型、算法、任务实验验证，还给出三种训练优化策略。
斯坦福教授直播训练535B大模型，模型训练背后的「黑箱」正在被打开？
斯坦福教授Percy Liang宣布由Marin开放实验室启动训练Marin 535B - A23B模型，全程公开。过去大模型训练像“黑箱”，此次尝试让训练可观察、可讨论、可协作，引发网友关注。
小钢炮开源，一张3090两小时「从零训练0.1B全模态模型」，模型训练彻底平民化
MiniMind - O是开源超轻量级端到端全模态大模型，采用双轨架构。仅需一张RTX 3090，2小时就能从零训练全链路。有两套训练数据，具备零样本声音克隆等特点，实现大模型训练平民化。
破局大模型训练黑盒，MegatronApp开源实现万亿参数「可视可控」训练
在2025上海QCon大会上，算秩未来赵伯罕博士指出万亿级大模型训练困境。上海期智研究院和算秩未来联合研发MegatronApp，以低入侵方式补齐链路，其四个模块形成闭环，让训练从黑盒变白盒，项目已开源。
监督学习未死，一题训练五小时起飞！华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中，RL训练资源成本高、不稳定，传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法，用一题多解多点评训练，仅需约5个GPU小时，效果好、稳定性强。
后训练中的RL已死？MIT新算法挑战传统后训练思维，谢赛宁转发
MIT研究人员提出RandOpt新算法，挑战传统后训练思维。该算法通过随机扰动和集成突破限制，在多任务中表现出色，揭示了预训练模型权重空间的“神经丛林”现象，引发AI社区关注。