「知识蒸馏」共找到 590 篇相关文章
ICML 2026 | 将多教师冲突转化为动态约束，破解多模态大模型推理对齐难题
在多模态大模型发展中，多教师知识蒸馏成提升性能关键，但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架，将模型间“漂移”转化为动态负约束，解决多模态大模型多师蒸馏概念对齐难题，工作被 ICML 2026 接收。
用超图撕开知识边界：16万节点无师自通搞Agentic科研
传统知识图谱只能用三元组描述世界，难以应对真实科学场景里的多体交互。作者提出将文献里n元关系存成超图超边，让LLM在多智能体框架里‘沿着超边走路’，并构建了超图进行实验，实现可验证的科学发现。
构建知识闭环：用CodeBuddy打造自我进化的数据分析体系
腾讯团队为解决数据分析痛点，构建知识闭环体系，利用CodeBuddy设计开发规范、自动生成SQL，将编码从小时级降至分钟级。体系含沉淀、传递、生成、信赖、闭环五环，提升团队效率与协作。
2年内AI生成世界90%知识！老黄2小时重磅访谈「剧透」未来
新智元报道黄仁勋2.5小时访谈，他透露2 - 3年内90%知识或由AI生成，强调AI尽头是能源，提出通用高收入概念，还分享英伟达危机、童年经历，解答AI意识、失控等问题。
Claude最强Fable 5.1发布！8项屠榜，最高降价45%，反蒸馏机制上线
Anthropic发布Fable 5.1和Mythos 5.1，8项基准测试夺冠，价格最高降45%。展示科研成果，如蛋白质设计、生成金星地图等。上线反蒸馏机制，防止篡改上下文，还给出替代方案。
AST | 西工大马龙、邬晓敬等：几何特征知识驱动的代理优化方法
机器学习为气动外形设计提供新方法，但高效挖掘利用几何与气动数据知识是难题。本文提出气动监督自编码器架构，利用小样本气动数据监督学习几何特征，嵌入优化框架提升样本质量及优化效率，经翼型和机翼验证有效。
3天狂揽23.1k星！把代码库变成知识图谱，AI编程成本降低35%
CodeGraph是开源本地代码知识图谱工具，提前为项目建索引，组织代码信息，让Agent直接查询。能减少token消耗与工具调用、提高响应速度，数据本地保存，还具备多语言支持等特点。
Claude和GPT思维链竟被两步蒸馏！116页论文曝光API致命漏洞
2026年AI蒸馏成悬案，一篇116页论文砸穿巨头「黑盒」。研究人员用低价小模型恢复Claude、GPT和Gemini原始推理，还发现API漏洞存在跨会话、用户和模型互通情况，收集公开轨迹泄露诸多敏感信息。
Meta CEO X 微软 CEO 对话解读：「蒸馏工厂」为何成为开源的魅力之源？
Meta CEO Mark Zuckerberg 和微软 CEO Satya Nadella 在 LlamaCon 2025 闭幕会议对话，探讨AI对技术平台等影响，如使文档、应用和网站界限模糊，还谈及开源与闭源模型战略价值及‘蒸馏工厂’概念。
数据集蒸馏，连发两篇顶会！10%样本实现全量性能，鲁棒不失真
数据集蒸馏能让模型高效节能，WMDD和GUARD两项研究分别解决保留原始数据特性、提升模型对抗扰动能力问题。WMDD用Wasserstein度量保留几何特性，GUARD平滑损失景观获对抗鲁棒性。