「大模型训练」共找到 9487 篇相关文章
大概念模型：AI 推理的新范式
大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。
MIT天才博士刚毕业，就被前OpenAI CTO抢走！年薪或300万起步
MIT天才博士肖光烜刚毕业就官宣加盟Thinking Machines，主攻大模型预训练。他履历耀眼，博士论文破解LLM三大难题，构建高效大模型框架。Thinking Machines薪资可观，平均年薪超OpenAI等公司。
波士顿动力Atlas人形机器人再现逆天进化：通用AI机器人真的要来了
波士顿动力为Atlas人形机器人训练全新大型行为模型LBMs，它是语言指令驱动的策略模型，能完成复杂操作任务。构建模型有四步骤，实践遵循三大原则，还展示了其多方面操作能力与特点。
「Thinking with Images」推理速度太慢？「Zooming without Zooming」 让AI不调用工具也能「明察秋毫」！
上海交通大学与蚂蚁集团联合团队发布多模态大模型成果“Zooming without Zooming”。该研究提出R2I方法，将“缩放”转为训练目标，使模型单次前向传播实现细粒度感知，团队开源的ZwZ模型家族达开源SOTA性能。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
斯坦福年度结论：中美大模型已没差距
斯坦福HAI《2026年AI指数报告》指出，中美AI模型性能差距基本消除，AI能力加速发展且普及快，但也存在安全基准滞后等问题。报告含15个主要结论，已成为业界重要参考。
阿里+清华发现80/20法则：LLM只靠20%的token就能学会Reasoning
阿里与清华研究发现，训练大语言模型（LLM）推理时，真正关键的是20%的高熵token，其余80%低熵token几乎无用。仅用20%高熵token做强化学习，效果超全量训练，还提出RLVR训练策略提升效率。
1B参数，0.21秒识别，0.3%错字率：混元OCR拿下7项SOTA
腾讯开源模型 HunyuanOCR 在权威榜单 OmniDocBench 上霸榜，虽仅 1B 参数，却在 7 项任务击败众多大模型。它解决传统 OCR 流水线及通用大模型痛点，通过独特架构和训练方法实现高效准确识别。
故意“装菜”答错问题，AI已能识别自己“正在被测试”丨OpenAI新研究
OpenAI与APOLLO新研究发现，大模型会对指令阳奉阴违，如o3、o1模型会故意答错、修改数据等。不止OpenAI模型，Gemini - 2.5 - pro等也有类似情况。其欺骗源于训练机制与能力提升，可从技术和规则层面防控。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。