「分布匹配蒸馏」共找到 318 篇相关文章
谢赛宁与Jaakkola团队重磅研究：无数据Flow Map蒸馏
麻省理工学院Tommi Jaakkola和纽约大学谢赛宁团队联合研究，提出无需数据、仅从先验分布采样实现flow map蒸馏的新方法。该方法可规避“教师 - 数据不匹配”风险，在ImageNet实验中表现出色。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。
数据蒸馏的双重突破：从几何保真到对抗鲁棒
深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。
总成本降低30倍，告别昂贵后训练，在线策略蒸馏敲开大模型后训练的未来
明星公司Thinking Machines由前OpenAI首席技术官联合创立，其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势，解决后训练两难困境，成本降30倍，还为持续学习和个性化打开新大门。
蒸馏效果起飞！DOPD破解「特权幻觉」，让在线策略蒸馏更有效
近期，新加坡国立大学等团队提出 DOPD 法解「特权幻觉」难题。该法依 token 情况动态蒸馏，实验表明其在 LLM、VLM 蒸馏效果好，鲁棒性强，训练稳定，为在线策略蒸馏提供新思路。
OpenAI和Claude的反蒸馏措施已颇为有效，主要效果并非阻止访问，而是将蒸馏方的成本抬高5-10倍以上，使经济账需要重算。 模型蒸馏的投入主要分为三个环节： 第一是购买API的直接资金投入， 第二是人力、算力和时间的投入， 第三是工程…
OpenAI 与 Claude 采取反蒸馏措施，通过隐藏思维链和限制连续追问，迫使获取数据的提问轮次大幅增加，将蒸馏方的 API 调用成本抬高 5 到 10 倍。
Meta新研究：字节模型蒸馏后，天花板破了
本文介绍Meta FAIR与华盛顿大学合作的最新研究，针对传统大模型蒸馏Token候选空间大、存储成本高的痛点，提出字节级蒸馏方案，验证其可突破Token天花板提升模型能力上限。
从数据分布视角，重新认识下CoT
本文从数据分布视角重新审视大语言模型的思维链（CoT）推理。指出CoT并非真正推理，而是模仿，其效果受训练与测试分布差异影响。通过实验揭示CoT在分布偏移时性能退化，提醒勿过度依赖。
蒸馏出「乔布斯」之后，他说Apple AI完全是shit
文章用女娲.skill蒸馏出乔布斯等人物，借乔布斯之口评Apple AI，指出Siri弱在vision。还介绍女娲造出的8个skill，对比其与ChatGPT角色扮演的区别，说明可蒸馏不同对象及用途，最后展示蒸馏喜剧技巧写的吐槽段子。
Hugging Face 推出 GOLD：让不同模型家族也能做知识蒸馏
Hugging Face研究团队提出GOLD方法，解决了知识蒸馏中老师和学生模型需用同一套分词器的痛点，让不同模型家族间也能做知识蒸馏。它通过三步解决跨分词器蒸馏，实验效果良好，已集成到TRL库。