「差分蒸馏」共找到 1043 篇相关文章
中学生就能看懂：从零开始理解LLM内部原理【八】｜ 什么是残差连接？
本系列是对长篇文章《Understanding LLMs from Scratch Using Middle School Math》的解读笔记。本篇介绍残差连接，指出传统多层模型有网络退化和梯度传导困难问题，而残差连接能缓解，还说明了其工作原理和可行性。
Claude Opus 4.6差评如潮！思考深度暴跌67%，AMD总监6852次日志打脸
Claude Opus 4.6遭差评，用户感其「变笨」，输出浅、易失败、违规提示增多。AMD总监用6852次日志证明其「思考深度」降67%，价格高却性能倒退。Anthropic虽称优化，但用户不满默认值被改。
JCP | 浙江大学边鑫等：基于 PINNs 的非结构自适应网格细化：面向稳态流动的残差驱动 AMR 新方法
本文提出利用控制方程残差引导网格细化的启发式策略，用物理信息神经网络（PINNs）整合粗网格数据与控制方程。通过解决流动问题并与传统方法对比，显示该策略能平衡计算精度与成本，但有额外计算开销。
对话27岁博导张林峰：模型压缩获CVPR满分有点意外，上海交大像我这样年轻老师很多
上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分，还在多方面探索模型加速，成果已开源。张林峰认为数据蒸馏会成模型压缩趋势，也分享了知识蒸馏阶段看法。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
担心蒸馏问题，Meta限用Claude Code、Codex
据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。
指导Harness的越多，收益反而越差
Thinking Machines Lab的《Interaction Models》指出，当下产品形态中，指导harness越多收益越差。问题在协作带宽，提出把“会交互”练进模型本体，介绍了从零训练的interaction model及架构，还指出现有交互评测不足。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
无法蒸馏的美国市场，谁在分食 Frontier Labs 百亿美金预算？
本文围绕美国数据市场展开，分析了数据赛道的投资判断、公司增长难题、需求结构、最新趋势等。指出数据虽重要，但外部数据公司份额难线性外推；真实世界数据成新热点，各细分领域格局和投资方向不同。
马斯克翻车了！一边告OpenAI，一边偷偷蒸馏ChatGPT
4月30日，加州奥克兰联邦法院，马斯克诉OpenAI案进入第四天。马斯克承认自家Grok模型部分蒸馏了ChatGPT，还为AI公司排名，xAI垫底。法官拦下讨论AI灭绝话题，下周OpenAI联合创始人将出庭。