「轨迹蒸馏」共找到 194 篇相关文章
被曝蒸馏DeepSeek还造假！欧版OpenAI塌房了
被誉为欧洲版OpenAI的Mistral被离职员工爆料多项黑幕，其最新模型疑似直接蒸馏自DeepSeek，却包装成RL成功案例，歪曲基准测试结果。此前就有人发现其模型与DeepSeek相似，目前官方暂无回应。
谢赛宁与Jaakkola团队重磅研究：无数据Flow Map蒸馏
麻省理工学院Tommi Jaakkola和纽约大学谢赛宁团队联合研究，提出无需数据、仅从先验分布采样实现flow map蒸馏的新方法。该方法可规避“教师 - 数据不匹配”风险，在ImageNet实验中表现出色。
数据蒸馏的双重突破：从几何保真到对抗鲁棒
深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
担心蒸馏问题，Meta限用Claude Code、Codex
据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
马斯克翻车了！一边告OpenAI，一边偷偷蒸馏ChatGPT
4月30日，加州奥克兰联邦法院，马斯克诉OpenAI案进入第四天。马斯克承认自家Grok模型部分蒸馏了ChatGPT，还为AI公司排名，xAI垫底。法官拦下讨论AI灭绝话题，下周OpenAI联合创始人将出庭。
自定义轨迹驱动AI视频生成，ATI无需训练适配多种生成模型
字节提出视频生成运动控制统一框架ATI，通过轻量级运动注入器将用户定义轨迹投影至预训练图像 - 视频生成模型潜在空间，实现协调控制。用户指定关键点及路径控制运动，无需重新训练，适配不同架构。