「训练问题」共找到 4870 篇相关文章
豆包背后的“超算大脑”：字节ByteRobust系统跑20多万张GPU，性能刷新SOTA
字节跳动自研的ByteRobust系统登上SOSP 2025，部署于超20万张GPU平台，9600张GPU训练三个月ETTR达97%。该系统应对LLM训练故障，由控制和数据平面构成，能自动发现修复故障，提升训练效率与稳定性。
“坏”数据让模型更“好”？重新审视数据过滤
传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。
OpenAI没做到，DeepSeek搞定了！开源引爆推理革命
文章围绕大语言模型推理能力展开，介绍了推理模型概念，回顾RLHF训练流程，对比OpenAI的PPO和DeepSeek的GRPO，还阐述了GRPO开源升级版DAPO的关键技术点及训练中模型的新能力。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
Anthropic智能体大会：Agent也会精神分裂，我们发现了多Agent协作的本质解法。
Anthropic开发者大会聚焦Agent，分享多智能体实战经验。Omni的Blobby出现‘精神分裂’问题，根源是内外层Agent能力认知断裂，修复方案是将工具上提。Anthropic团队则通过协商签订协议解决角色定义不一致问题。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
中国突破！20年芯片散热瓶颈问题被击穿
西安电子科技大学郝跃院士团队在半导体材料领域取得关键突破，解决芯片散热与性能瓶颈问题。他们开发“离子注入诱导成核”技术，革新界面热阻，提升器件性能，应用前景广阔。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
小米玄戒O1，五个争议问题与解释
文章围绕小米玄戒O1提出五个争议问题并解释。涉及是否为国产、自研芯片，手机SoC研发难点、小米做SoC原因及玄戒O1是否成功，还结合苹果、高通等案例阐述芯片产业分工等知识。
The Batch: 952 | GPT-5.5 性能领先，但幻觉问题突出
OpenAI 最新旗舰模型 GPT-5.5 是闭源视觉 - 语言模型，在重要基准测试中表现领先，但在区分已知未知内容上有困难，幻觉问题突出，在主观评估中落后于对手。