「交叉蒸馏」共找到 145 篇相关文章
对话27岁博导张林峰：模型压缩获CVPR满分有点意外，上海交大像我这样年轻老师很多
上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分，还在多方面探索模型加速，成果已开源。张林峰认为数据蒸馏会成模型压缩趋势，也分享了知识蒸馏阶段看法。
告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%
美国南加州大学和宾夕法尼亚大学团队提出新训练范式ERL，将「经验学习」引入强化学习，通过二次尝试和反思蒸馏，在复杂任务中性能显著提升，为构建长期自主智能体提供新思路。
116页论文教你「蒸馏」Claude、GPT-5.6：AI社区今天炸了
一篇前沿大模型安全漏洞论文引发热议，指出各大模型 API 设计缺陷，可提取隐藏思维链。同一模型家族安全能力不对称，攻击者可利用此漏洞，还介绍了攻击路径、实验及修复建议。
ICML 2026 | 将多教师冲突转化为动态约束，破解多模态大模型推理对齐难题
在多模态大模型发展中，多教师知识蒸馏成提升性能关键，但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架，将模型间“漂移”转化为动态负约束，解决多模态大模型多师蒸馏概念对齐难题，工作被 ICML 2026 接收。
The Batch: 907 | 小而高效模型的“制作”方法
Mistral AI发布Ministral 3系列模型权重，结合剪枝与蒸馏技术，用级联蒸馏法构建。该系列参数规模有140亿、80亿和30亿，在部分测试中表现佳，训练成本低于传统方式。
再也不怕面瘫脸！YouTube黑科技：AI帮你「永久微笑」，连僵尸都咧嘴笑
YouTube在Shorts相机里实现AI实时「重绘」人脸，效果自然。它通过知识蒸馏将大模型「瘦身」成小模型，用迭代蒸馏打磨细节，PTI保证身份特征，MediaPipe搭建推理管道，还将拓展视频生成功能。
Codex自我蒸馏玩法火了！OpenAI员工亲授：复制粘贴就能让AI消灭重复劳动
OpenAI员工Vaibhav Srivastav爆出Codex「自我蒸馏」秘籍，复制提示词就能让它找出重复工作并打包。提示词从初版迭代到2.0版，覆盖更多场景且能直接创建项目。此外还介绍了Codex新功能及Vaibhav的其他玩法。
斯坦福与Adobe新研究，模仿蒸馏技术轻松让200亿参数图像生成高质量大模型
斯坦福大学和Adobe研究院联手，用pi - Flow技术让200亿参数文本到图像大模型4步内生成高质量、高多样性图片。此前少步生成有质量和多样性问题，他们推出GMFlow和pi - Flow解决难题，LakonLab是其背后工程支撑。
2026开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026年刚开场，Self - Distillation成大模型领域高频词汇。传统强教师依赖范式难适配大模型持续进化，MIT等顶尖机构发布三项成果，用不同方法实现自蒸馏，推动模型持续学习。
黄仁勋人生首条推文力挺开源，“Kimi恐慌”成为风暴眼
当地时间7月24日，英伟达创始人黄仁勋发首条推特分享联名信力挺开放权重AI。此事与新开源模型Kimi K3引发的‘Kimi恐慌’相关，‘开源vs闭源’路线之争因此推向高潮。同时，围绕模型蒸馏是否侵权争议不断。