「反蒸馏机制」共找到 1142 篇相关文章
OpenAI「辣椒芯」干翻英伟达！老黄股价不跌反涨
OpenAI自研芯片「小辣椒」跑分碾压英伟达最强blackwell，低延迟、高吞吐、低并发等全达SOTA级别。但英伟达股价未跌反涨，OpenAI也表态不会弃用英伟达。「小辣椒」预计2027年量产，OpenAI还将开发后续版本，不过其数据中心负责人离职，无人接手。
AI首次拿下IMO官方满分金牌，背后藏着一套自我纠错机制
在第67届国际数学奥林匹克（IMO 2026）上，小红书的「dots-note-3.0」成为首个获官方满分金牌的AI模型。它解题时自我检查修正，有自主探索能力。之后模型要应对生活中长周期、多变任务的挑战。
人大高瓴-华为诺亚：大语言模型智能体记忆机制的系列研究
中国人民大学高瓴人工智能学院与华为诺亚方舟实验室聚焦大语言模型智能体记忆能力，形成含综述论文、数据集和工具包的研究体系。探讨记忆概念、重要性、实现与评测方法，还构建评测榜单、实现工具包。
刚刚，谷歌AI路线图曝光：竟要抛弃注意力机制？Transformer有致命缺陷！
谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。
116页论文教你「蒸馏」Claude、GPT-5.6：AI社区今天炸了
一篇前沿大模型安全漏洞论文引发热议，指出各大模型 API 设计缺陷，可提取隐藏思维链。同一模型家族安全能力不对称，攻击者可利用此漏洞，还介绍了攻击路径、实验及修复建议。
奥特曼「红色警戒」5个月后，GPT Image 2屠榜，断层领先反杀谷歌
被Google按了半年头，OpenAI祭出反杀。GPT Image 2上线12小时登顶Arena文生图榜，领先Nano Banana 2达241分。它是从零重构的通用模型，具备原生思考能力，或改写图像生成赛道规则。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
10行代码，AIME24/25提高15%！揭秘大模型强化学习熵机制
来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。
英伟达港大联手革新视觉注意力机制！GSPN高分辨率生成加速超84倍
香港大学与英伟达联合推出广义空间传播网络（GSPN）。它采用二维线性传播与“稳定性 - 上下文条件”，将计算量降低，保留图像空间连贯性。在多视觉任务刷新性能纪录，如高分辨率生成加速超84倍。