「预训练策略」共找到 2851 篇相关文章
M系列芯片一号人物准备离开，苹果高管流失正在失控
近期苹果高管变动不断，12月1日负责机器学习与AI战略的高级副总裁宣布退休，4日设计总监离职。此外，‘苹果芯片’之父也考虑离开，还有多位高管有离任计划。苹果发展策略保守，留不住人才，库克时代或近尾声。
DeepSeek 模型技术之旅：从 V3 到 V3.2
本文深入剖析了 DeepSeek 模型从 V3 到 V3.2 的技术演进，对比了基座与推理模型，介绍了架构、训练方法变化，如 V3.2 结合 MLA 与 DSA，更新奖励和 GRPO 算法，还提及 V3.2-Speciale 扩展思考特性。
英伟达拟 10 亿美元砸向这家 AI 编码创企！Copilot 技术大佬带队、成立两年估值近千亿
10月30日彭博社报道，英伟达拟最高投10亿美元给AI创企Poolside，此轮融资或使其估值翻四倍。该公司由微软技术大佬带队，开发AI编码助手，创建强化学习法训练模型，从底层自研，有独特优势。
医疗幻觉率比DeepSeek低3倍，百川循证增强大模型横扫全球医学考试！
百川智能发布首个循证增强医疗大模型Baichuan - M2 Plus，将循证医学理念融入训练和推理，首创六源循证范式。其在多场景评测中幻觉率低，多国医考成绩优异，已上线百小应APP并开放API。
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
快慢思考不用二选一！华为开源7B模型实现自由切，精度不变思维链减近50%
华为发布openPangu-Embedded-7B-v1.1，参数7B却有双重“思维引擎”。采用渐进式微调策略和快慢思考自适应模式，可自由切换快慢思考，在多评测中精度提升，思维链减近50%。还推出openPangu-Embedded-1B小模型。
波士顿动力机器人终于有脑子了！人类故意使绊子也不怕
波士顿动力与丰田研究院联手基于大型行为模型，推出Atlas全新版本Atlas MTS。它能听懂自然语言指令、自主规划动作、处理意外。此次升级采用特定模型及策略，还结合VR界面。此外，波士顿动力转向电驱，电驱机器人时代将来临。
突破单token预测局限！南洋理工首次将多token预测引入微调，编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。
新模型亦是新 Agent，Kimi-Researcher 超大量一手实测！
2025 年被称为“Agent 元年”，月之暗面发布了端到端强化学习训练的新一代 Agent 模型 Kimi - Researcher，其基座是自研新模型。文章对其进行大量实测，与 OpenAI 等对比，并探讨了 Deep Research 的重要性及 Kimi 的不足。
少说‘Wait’，多做题：NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。