算法论文8

清华揭秘大模型蒸馏：名师未必出高徒

机器之心2026-05-13

AI 摘要

清华团队研究大模型蒸馏：决定OPD成败有思维模式一致性和高分≠新知识两大法则；成功蒸馏是高概率Token“双向奔赴”；还给出拯救失败蒸馏两招，指出OPD难扩展到长思维链场景。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

研究者公开提取闭源模型思维链方法

围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。

快手科技针对工业搜索广告中生成式检索存在的目标割裂、新广告冷启动、异构广告语义差异等痛点，提出UniGD生成-判别一体化框架，经公开测试与工业验证，效果与业务收益提升显著。

字节跳动Seed联合多家机构，针对当前递归式自我改进AI依赖外部给定目标反馈的缺陷，提出三项新基准，从三个核心维度研究Agent自进化能力，揭示了当前AI自进化的核心瓶颈。

本文解读AI2与华盛顿大学最新研究，针对热门Agent Harness Evolution方向，通过公平对照实验检验方法真实收益，戳破研究误区，引发对Agent评估标准的反思。