「轨迹蒸馏」共找到 194 篇相关文章
Skills驱动推理新范式，清华&北大：Token立省59%，准确率不降反升
当前推理模型虽准确率高，但生成“思考过程”会使推理成本和延迟上升。奇元科技、清华、北大等提出TRS框架，将历史推理轨迹蒸馏成技能卡片，在推理时检索注入，实现更少Token、更高准确率。
ICML 2026 | 大模型为什么算不对加法？南大团队提出等本位和轨迹，揭示LLM算术错误的几何机制
南大团队研究LLM在多操作数加法中的内部表征结构，发现算术状态呈高度结构化几何流形。提出等本位和轨迹与噪声量化模型，解释模型算错加法原因，还设计推理时纠错方法。
推特热议、AI 万亿美元新赛道，「上下文图谱」到底是什么？创业机会在哪？
文章围绕「上下文图谱」展开，探讨其定义、构建问题及创业机会。指出它是决策轨迹积累形成的结构，构建要解决双时钟等问题。大厂难以捕捉决策轨迹，初创公司有三条路可走，捕捉决策轨迹或成新万亿级平台。
ACM MM 2025 | 小红书AIGC团队提出风格迁移加速算法STD
小红书AIGC团队提出风格迁移加速算法STD。现有一致性模型在风格化任务有缺陷，文章提出从部分噪声状态出发的训练框架STD，设计轨迹状态库减轻计算负担，引入非对称对抗损失增强风格一致性，实验显示其效果优。
对话27岁博导张林峰：模型压缩获CVPR满分有点意外，上海交大像我这样年轻老师很多
上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分，还在多方面探索模型加速，成果已开源。张林峰认为数据蒸馏会成模型压缩趋势，也分享了知识蒸馏阶段看法。
模仿学习新范式！Chain-of-Action：轨迹自回归实现动作推理
具身智能领域尚未迎来「GPT时刻」，现有模仿学习范式有缺陷。字节跳动与阿德莱德大学研究者提出「动作链」（CoA）策略，通过轨迹自回归建模解决累计误差，提升泛化性，实验效果显著。
告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%
美国南加州大学和宾夕法尼亚大学团队提出新训练范式ERL，将「经验学习」引入强化学习，通过二次尝试和反思蒸馏，在复杂任务中性能显著提升，为构建长期自主智能体提供新思路。
116页论文教你「蒸馏」Claude、GPT-5.6：AI社区今天炸了
一篇前沿大模型安全漏洞论文引发热议，指出各大模型 API 设计缺陷，可提取隐藏思维链。同一模型家族安全能力不对称，攻击者可利用此漏洞，还介绍了攻击路径、实验及修复建议。
IROS 2025 | 机器人衣物折叠新范式，NUS邵林团队用MetaFold解耦轨迹与动作
新加坡国立大学邵林团队提出MetaFold框架用于机器人衣物折叠。它创新分层架构，解耦任务规划与动作预测。构建开源数据集，经实验在多指标超现有方法，还验证了从仿真到现实的迁移能力。
ICML 2026 | 将多教师冲突转化为动态约束，破解多模态大模型推理对齐难题
在多模态大模型发展中，多教师知识蒸馏成提升性能关键，但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架，将模型间“漂移”转化为动态负约束，解决多模态大模型多师蒸馏概念对齐难题，工作被 ICML 2026 接收。