「差分蒸馏」共找到 1085 篇相关文章
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
中学生就能看懂：从零开始理解LLM内部原理【八】｜ 什么是残差连接？
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接，指出传统多层模型有网络退化和梯度传导困难问题，而残差连接能缓解，还说明了其工作原理和可行性。
Claude Opus 4.6差评如潮！思考深度暴跌67%，AMD总监6852次日志打脸
Claude Opus 4.6遭差评，用户感其「变笨」，输出浅、易失败、违规提示增多。AMD总监用6852次日志证明其「思考深度」降67%，价格高却性能倒退。Anthropic虽称优化，但用户不满默认值被改。
JCP | 浙江大学边鑫等：基于 PINNs 的非结构自适应网格细化：面向稳态流动的残差驱动 AMR 新方法
本文提出利用控制方程残差引导网格细化的启发式策略，用物理信息神经网络（PINNs）整合粗网格数据与控制方程。通过解决流动问题并与传统方法对比，显示该策略能平衡计算精度与成本，但有额外计算开销。
对话27岁博导张林峰：模型压缩获CVPR满分有点意外，上海交大像我这样年轻老师很多
上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分，还在多方面探索模型加速，成果已开源。张林峰认为数据蒸馏会成模型压缩趋势，也分享了知识蒸馏阶段看法。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
担心蒸馏问题，Meta限用Claude Code、Codex
据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。
指导Harness的越多，收益反而越差
Thinking Machines Lab的《Interaction Models》指出，当下产品形态中，指导harness越多收益越差。问题在协作带宽，提出把“会交互”练进模型本体，介绍了从零训练的interaction model及架构，还指出现有交互评测不足。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
Anthropic：今年封了1140万个号，蒸馏少了99%
本文爆料Anthropic风控动态，上半年封禁1140万疑似数据蒸馏账号，申诉胜诉率仅10%，大量正常用户被误杀，同时对比了中外大模型的使用体验差距。