「稀疏蒸馏」共找到 216 篇相关文章
马斯克翻车了！一边告OpenAI，一边偷偷蒸馏ChatGPT
4月30日，加州奥克兰联邦法院，马斯克诉OpenAI案进入第四天。马斯克承认自家Grok模型部分蒸馏了ChatGPT，还为AI公司排名，xAI垫底。法官拦下讨论AI灭绝话题，下周OpenAI联合创始人将出庭。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
DeepSeek-V3.2-Exp：用稀疏注意力打破长文本效率瓶颈
在NLP领域，处理长文本时传统注意力机制效率低。DeepSeek团队推出DeepSeek-V3.2-Exp模型，引入稀疏注意力机制，在保持性能同时提高长文本处理效率，降低计算复杂度，在多基准测试中表现良好。
和一线研究员的闭门讨论：蒸馏变难后，下一步的重点是什么？
本文整理拾象邀请多家头部模型厂商一线AI研究员的线下闭门讨论，围绕大模型前沿方向分享业内共识与分歧，涵盖Computer Use、RSI、模型蒸馏、训练数据、数据生意等核心议题，干货密度高。
NeurIPS 2025 Spotlight | 选择性知识蒸馏精准过滤：推测解码加速器AdaSPEC来了
大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。
Claude最强Fable 5.1发布！8项屠榜，最高降价45%，反蒸馏机制上线
Anthropic发布Fable 5.1和Mythos 5.1，8项基准测试夺冠，价格最高降45%。展示科研成果，如蛋白质设计、生成金星地图等。上线反蒸馏机制，防止篡改上下文，还给出替代方案。
Claude和GPT思维链竟被两步蒸馏！116页论文曝光API致命漏洞
2026年AI蒸馏成悬案，一篇116页论文砸穿巨头「黑盒」。研究人员用低价小模型恢复Claude、GPT和Gemini原始推理，还发现API漏洞存在跨会话、用户和模型互通情况，收集公开轨迹泄露诸多敏感信息。
Meta CEO X 微软 CEO 对话解读：「蒸馏工厂」为何成为开源的魅力之源？
Meta CEO Mark Zuckerberg 和微软 CEO Satya Nadella 在 LlamaCon 2025 闭幕会议对话，探讨AI对技术平台等影响，如使文档、应用和网站界限模糊，还谈及开源与闭源模型战略价值及‘蒸馏工厂’概念。
解决特斯拉「监督稀疏」难题，DriveVLA-W0用世界模型放大自动驾驶Data Scaling Law
自动驾驶领域VLA大模型面临‘监督稀疏’难题，特斯拉公布此挑战。DriveVLA - W0研究提出用世界模型解决，将‘预测未来图像’作自监督训练任务，还提出轻量级架构降低推理延迟。
数据集蒸馏，连发两篇顶会！10%样本实现全量性能，鲁棒不失真
数据集蒸馏能让模型高效节能，WMDD和GUARD两项研究分别解决保留原始数据特性、提升模型对抗扰动能力问题。WMDD用Wasserstein度量保留几何特性，GUARD平滑损失景观获对抗鲁棒性。