「蒸馏」共找到 124 篇相关文章
真实评估！北理发布全球首个「全场景教育」基准，支持4000+情境
北京理工大学高扬老师团队推出EduBench，是全球首个「全场景教育」基准，涵盖9大教育场景、12个评估维度、超4000个情境。团队将数据、模型等全面开源，评估发现大模型在特殊教育场景有不足，还提出多源知识蒸馏等方法。
AI生图免训练提速1000%，办法：最简洁的“三阶段流水线”
AI画图速度慢，过往主流加速方法有局限。MrFlow团队提出三阶段流水线，在Qwen - Image等模型上实现10倍以上端到端加速，生成效果好，优势显著，还能与时间步蒸馏叠加，且完整开源。
Skills驱动推理新范式，清华&北大：Token立省59%，准确率不降反升
当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。
谷歌Gemini 3.2偷跑上线！2200行代码一镜到底，Claude/GPT坐不住了
发布会未开，谷歌Gemini 3.2 Flash网页端静默上线，编码实力强悍，代码量大幅提升。其核心技术是蒸馏与稀疏化，推理成本大降。Gemini App集成第三方应用，谷歌I/O大会多款产品将曝光，此次发布对谷歌至关重要。
电脑操作、技能、连接器、工作伙伴：豆包的牌来了
最近字节有两个豆包相关新闻，一是在训练超大模型，二是反对模型蒸馏。豆包上线大批 Agent 相关工作任务能力，覆盖办公场景，如电脑操作、技能商店等，过程流畅且可观察，还更新移动端，实现远程控制。
社区供稿丨揭秘端到端文档OCR模型 POINTS-Reader
腾讯开源端到端文档OCR模型POINTS-Reader，论文被EMNLP 2025主会录取。它提出可扩展数据生成方案，具简洁、性能好、高吞吐量等特点，通过两阶段训练方案解决依赖蒸馏数据问题，在多基准测试表现佳。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
智能体新范式Chain-of-Agents，多项任务新SOTA
论文提出Chain-of-Agents (CoA) 范式，结合多智能体系统与工具集成推理优势。通过多智能体蒸馏和智能体强化学习训练智能体基础模型（AFM），实验显示其在Web和Code任务上达新SOTA，效率、泛化性佳。
黄仁勋人生第一推，把硅谷劈成了两半！
7月24日晚，黄仁勋在X首发帖，公布25家联署的‘开源为什么重要’公开信，引发关注。马斯克、奥特曼等表态支持，但OpenAI等闭源三巨头缺席。信中为‘蒸馏’正名，凸显‘扩散派’与‘稀缺派’矛盾，中国开源模型崭露头角。
只要强化学习1/10成本！翁荔的Thinking Machines盯上了Qwen的黑科技
新智元报道，翁荔的Thinking Machines研究同策略蒸馏策略，能以1/10强化学习成本，结合同策略训练优势与密集奖励信号。该策略受DAGGER启发，扩展Qwen3团队工作，可在Tinker复现，还能用于个性化和持续学习。