算法论文8

清华揭秘大模型蒸馏：名师未必出高徒

机器之心2026-05-13

AI 摘要

清华团队研究大模型蒸馏：决定OPD成败有思维模式一致性和高分≠新知识两大法则；成功蒸馏是高概率Token“双向奔赴”；还给出拯救失败蒸馏两招，指出OPD难扩展到长思维链场景。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

研究者公开提取闭源模型思维链方法

围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。

视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。

视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。

国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。