「差分蒸馏」共找到 1043 篇相关文章
将注意力旋转 90 度！今天，Kimi 的「注意力残差」火了
Kimi团队发布技术报告Attention Residuals，用依赖输入的注意力机制取代标准深度递归，解决传统残差连接的信息稀释和隐藏状态爆炸问题。实验显示其有计算优势，下游任务表现佳。
NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。
Claude最强Fable 5.1发布！8项屠榜，最高降价45%，反蒸馏机制上线
Anthropic发布Fable 5.1和Mythos 5.1，8项基准测试夺冠，价格最高降45%。展示科研成果，如蛋白质设计、生成金星地图等。上线反蒸馏机制，防止篡改上下文，还给出替代方案。
10 年后，Kimi 团队重新发明残差连接。马斯克和 Karpathy 同时点赞
Kimi团队发布技术报告，提出用Attention Residuals替换残差连接。实验显示其在各尺度模型上表现优于基线，降低训练成本。马斯克和Karpathy点赞，这或标志深度学习基础范式进入重新讨论阶段。
硅谷年度「分尸案」！带头卷走24亿跑路，明星创始人遭VC集体拉黑
AI爆火编程独角兽Windsurf原本有望被OpenAI 30亿美元收购，却在最后一刻告吹。谷歌24亿美元拿下部分，Cognition分食另一半。这让VC大佬、团队成员吃苦头，引发对创业生态负面影响的讨论。
马斯克Grok 4逆天跑分泄露，「人类最后考试」豪取45%全场第一！
Grok 4跑分提前泄露，在「人类最后考试」中得分高达45%，远超Gemini与Claude，成为当前测试中最强模型之一。马斯克表示Grok 4以「第一性原理」构建推理机制，有望改写LLM格局。
突发！Claude Opus 5深夜震撼发布，多项跑分锤爆Fable 5，价格腰斩
Claude Opus 5正式发布，总体智能逼近Claude Fable 5，价格仅为一半，多项跑分超Fable 5。它专为高频使用设计，各领域进步显著，有强自我验证和迭代能力，还发布API更新与提示词编写指南。
Claude和GPT思维链竟被两步蒸馏！116页论文曝光API致命漏洞
2026年AI蒸馏成悬案，一篇116页论文砸穿巨头「黑盒」。研究人员用低价小模型恢复Claude、GPT和Gemini原始推理，还发现API漏洞存在跨会话、用户和模型互通情况，收集公开轨迹泄露诸多敏感信息。
OpenAI新模型GPT-5.1发布，不跑分不刷榜，主打一个说人话
OpenAI发布GPT-5.1，主打更智能、更具对话性，无跑分打榜，有人设说人话。包括Instant和Thinking两个子模型，简单问题快，复杂问题智能。本周逐步向用户免费开放，还更新了语气风格等功能。
全球首个AI Agent操作系统FlowithOS跑分超Atlas，网友：它「杀死」了比赛
AI应用初创企业Flowith推出全球首款专为AI Agent打造的操作系统FlowithOS。它能改写交互方式，功能超AI浏览器，跑分超竞品，还具记忆能力，适配多系统，已公测，或引发“AI操作系统”竞争。