搜索：多教师知识蒸馏

「多教师知识蒸馏」共找到 617 篇相关文章

Skills驱动推理新范式，清华&北大：Token立省59%，准确率不降反升

当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。

发布会未开，谷歌Gemini 3.2 Flash网页端静默上线，编码实力强悍，代码量大幅提升。其核心技术是蒸馏与稀疏化，推理成本大降。Gemini App集成第三方应用，谷歌I/O大会多款产品将曝光，此次发布对谷歌至关重要。

最近字节有两个豆包相关新闻，一是在训练超大模型，二是反对模型蒸馏。豆包上线大批 Agent 相关工作任务能力，覆盖办公场景，如电脑操作、技能商店等，过程流畅且可观察，还更新移动端，实现远程控制。

作者对刚发布的GPT - Image - 2进行上手实测，发现它无需复杂提示词，随手几个字就能出好效果。在互联网运营图片、知识类卡片、游戏设计、论文解释、网页设计等多领域表现出色，或冲击设计行业。

Notion CEO Ivan Zhao 在播客采访中分享打造 AI 产品的观点。他认为 Notion 整合 SaaS 成生产力工具，数据库是核心。好产品做到 7.5 分即可，构建 AI 产品像“酿啤酒”，知识工作领域 Agent 未真正出现。

文章围绕AI未来在编程和系统设计上能否超人类展开探讨。分析AI编程效率未达预期的原因，指出短期内不会有完全面向AI的软件架构，还强调学习编程和系统设计知识可培养解决问题的能力。

加州大学圣迭戈分校等机构开发 Real Deep Research（RDR）系统，可自动完成领域综述与趋势追踪。它从顶会收集论文，压缩成摘要并聚类，还能生成综述、绘制趋势图谱。与已有方法不同，它结合自动化与专家知识。

大语言模型存在“知识截止”问题，RAG技术应运而生，成为大模型落地主流方案。但随着需求提升，其工程实现变复杂。清华等推出UltraRAG 2.0，仅50行代码实现同等功能，降低开发门槛，性能提升，还能落地多种场景。

文章指出传统提示工程控制大模型生成行为有缺陷，提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示，定位“原子知识组件”精准控行为，实验效果超现有技术，还能控制推理长度。

上海AI Lab提出LEMMA方法，构建“错误 - 反思 - 修正”数据，让大模型从错误中学习。通过教师模型定向制造“学生会犯的错”构造数据，实验显示在Llama3 - 8B上数学解题准确率提升13.3%。