「蒸馏陷阱」共找到 172 篇相关文章
讲座分享 | 密歇根大学Karthik Duraisamy教授
密歇根大学Karthik Duraisamy教授将开展讲座，主题为数据驱动的湍流建模。会介绍过去十年嵌入学习模型增强的进展，强调简约与约束平衡，指出存在的陷阱及挑战，还提及让数据驱动封闭成为可靠组件的要点。
真实评估！北理发布全球首个「全场景教育」基准，支持4000+情境
北京理工大学高扬老师团队推出EduBench，是全球首个「全场景教育」基准，涵盖9大教育场景、12个评估维度、超4000个情境。团队将数据、模型等全面开源，评估发现大模型在特殊教育场景有不足，还提出多源知识蒸馏等方法。
AI生图免训练提速1000%，办法：最简洁的“三阶段流水线”
AI画图速度慢，过往主流加速方法有局限。MrFlow团队提出三阶段流水线，在Qwen - Image等模型上实现10倍以上端到端加速，生成效果好，优势显著，还能与时间步蒸馏叠加，且完整开源。
Skills驱动推理新范式，清华&北大：Token立省59%，准确率不降反升
当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。
从传统编程转向大模型编程
文章指出大模型编程时代，开发者要从‘代码产出者’变为‘文档定义者’，介绍其优势、人+AI结对编程模式，还提及模型工具技巧、开发流程、常见陷阱及应对策略，强调文档驱动和安全合规。
谷歌Gemini 3.2偷跑上线！2200行代码一镜到底，Claude/GPT坐不住了
发布会未开，谷歌Gemini 3.2 Flash网页端静默上线，编码实力强悍，代码量大幅提升。其核心技术是蒸馏与稀疏化，推理成本大降。Gemini App集成第三方应用，谷歌I/O大会多款产品将曝光，此次发布对谷歌至关重要。
电脑操作、技能、连接器、工作伙伴：豆包的牌来了
最近字节有两个豆包相关新闻，一是在训练超大模型，二是反对模型蒸馏。豆包上线大批 Agent 相关工作任务能力，覆盖办公场景，如电脑操作、技能商店等，过程流畅且可观察，还更新移动端，实现远程控制。
社区供稿丨揭秘端到端文档OCR模型 POINTS-Reader
腾讯开源端到端文档OCR模型POINTS-Reader，论文被EMNLP 2025主会录取。它提出可扩展数据生成方案，具简洁、性能好、高吞吐量等特点，通过两阶段训练方案解决依赖蒸馏数据问题，在多基准测试表现佳。
DeepMind揭示Reasoning内在机制
近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。
人类已成少数派！DeepMind 研究科学家：广告没人看了，互联网上AI的流量已经超过了真人
Google DeepMind高级研究科学家Nenad Tomašev预测，未来世界主要网民将是智能体。他指出智能体虽能自动化工作，但存在安全风险，如认知单一化、网络陷阱等，还探讨了协作模式、安全防护及未来形态。