「向量蒸馏」共找到 210 篇相关文章
Science重磅！新药发现提速千万倍，清华用AI把药物筛选变成向量检索
清华大学团队在《科学》发表DrugCLIP研究，将对比学习引入药物发现，把分子对接转为向量检索，使虚拟筛选速度提升千万倍，还构建全球首个全人类蛋白质组药物筛选数据库。
ICML 2026 | 将多教师冲突转化为动态约束，破解多模态大模型推理对齐难题
在多模态大模型发展中，多教师知识蒸馏成提升性能关键，但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架，将模型间“漂移”转化为动态负约束，解决多模态大模型多师蒸馏概念对齐难题，工作被 ICML 2026 接收。
The Batch: 907 | 小而高效模型的“制作”方法
Mistral AI发布Ministral 3系列模型权重，结合剪枝与蒸馏技术，用级联蒸馏法构建。该系列参数规模有140亿、80亿和30亿，在部分测试中表现佳，训练成本低于传统方式。
再也不怕面瘫脸！YouTube黑科技：AI帮你「永久微笑」，连僵尸都咧嘴笑
YouTube在Shorts相机里实现AI实时「重绘」人脸，效果自然。它通过知识蒸馏将大模型「瘦身」成小模型，用迭代蒸馏打磨细节，PTI保证身份特征，MediaPipe搭建推理管道，还将拓展视频生成功能。
Codex自我蒸馏玩法火了！OpenAI员工亲授：复制粘贴就能让AI消灭重复劳动
OpenAI员工Vaibhav Srivastav爆出Codex「自我蒸馏」秘籍，复制提示词就能让它找出重复工作并打包。提示词从初版迭代到2.0版，覆盖更多场景且能直接创建项目。此外还介绍了Codex新功能及Vaibhav的其他玩法。
斯坦福与Adobe新研究，模仿蒸馏技术轻松让200亿参数图像生成高质量大模型
斯坦福大学和Adobe研究院联手，用pi - Flow技术让200亿参数文本到图像大模型4步内生成高质量、高多样性图片。此前少步生成有质量和多样性问题，他们推出GMFlow和pi - Flow解决难题，LakonLab是其背后工程支撑。
2026开年关键词：Self-Distillation，大模型真正走向「持续学习」
2026年刚开场，Self - Distillation成大模型领域高频词汇。传统强教师依赖范式难适配大模型持续进化，MIT等顶尖机构发布三项成果，用不同方法实现自蒸馏，推动模型持续学习。
黄仁勋人生首条推文力挺开源，“Kimi恐慌”成为风暴眼
当地时间7月24日，英伟达创始人黄仁勋发首条推特分享联名信力挺开放权重AI。此事与新开源模型Kimi K3引发的‘Kimi恐慌’相关，‘开源vs闭源’路线之争因此推向高潮。同时，围绕模型蒸馏是否侵权争议不断。
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
别死磕百万上下文了！Neo4j CEO 详解知识图谱：如何把大公司的“隐性知识”塞进 AI 的脑子？
Neo4j CEO Emil Eifrem 在播客中表示，AI 缺的不是更多上下文，而是上下文关系。图数据库能提供带结构的上下文，解决向量搜索难以解释的问题。GraphRAG 结合向量搜索与图遍历，可提高准确率。此外，还介绍了图数据库在多领域的应用及相关工具。