「反蒸馏机制」共找到 1174 篇相关文章
CVPR 2026 Oral｜告别模型合并冲突！南大等提出OrthoReg：极简正交正则化，揭开任务算术的底层机制
南京大学等团队为任务算术建立底层理论框架，提出「任务特征特化」属性，推导出几何约束方法OrthoReg。该方法引入极简正交正则化项，提升模型合并性能，论文被CVPR 2026接收并评为Oral，代码等已开源。
模型砍掉一大半，准确率反升15%！华科&阿里安全新研究实现ViT近乎无损的类特定压缩｜ICLR'26
华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。
ICLR 2026 Oral｜大模型总爱「想太多」？ DECS从源头消除冗余思考，实现推理token减半且性能不降反升
以DeepSeek - R1等为代表的大型推理模型存在过度思考问题，造成大量冗余计算。复旦大学等团队在ICLR 2026 Oral论文中揭示‘长度惩罚’局限性，提出DECS框架，在多基准测试中实现推理长度减半且性能提升。
从烧光现金、裁掉一半员工，到 ARR 9 个月破亿：Replit用“全栈平台”反杀Cursor，赌赢“每层都赚钱”模式
2024年初到2025年9个月内，Replit年度经常性收入从不到1000万美元破亿。其增长靠系统性战略，以AI编程代理获客，后端基础设施变现。它反映AI编程工具从编辑器进化为平台的趋势。
OpenAI 也把工程师经验“蒸馏”进 skill 了！Harness 爆文作者曝内部玩法：一个百万行代码系统，全程零人工编码和审核
OpenAI的Ryan Lopopolo分享Frontier团队工作方式，他们维护超百万行代码库，零人工编码和审核。实验产出Symphony，推动coding agent成“队友”。还探讨模型使用、构建速度、人类角色等问题，认为人成瓶颈，软件要适配模型。
每个token都在亏钱，但ARR9个月破亿！从烧光现金、裁掉一半员工到反杀Cursor，Replit CEO曝一年内如何极限翻盘
2024年初到2025年9个月内，Replit的ARR从不到1000万美元突破1亿美元。其增长基于系统性战略，从基础设施整合发力。创始人分享发展历程，还谈到AI编程趋势及产品边界等内容。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.027B 参数硬刚思维链模型，推理完爆 o3-mini-high
新加坡 Sapient Intelligence 推出小型模型 HRM，参数仅 2700 万却能解决复杂推理难题，其不依赖“思维链”，借鉴人类大脑工作方式。该模型准确率超先进思维链模型，推理能力强，具经济性，可提升任务效率。
马斯克挖不动的清华学霸，一年造出 “反内卷 AI”！0.27B参数硬刚思维链模型，推理完爆o3-mini-high
新加坡Sapient Intelligence推出小参数AI模型HRM，能解决复杂推理难题。它受大脑启发，提出“隐性推理”路径，准确率碾压先进思维链模型，推理能力超越o3 - mini - high，经济性突出，任务效率可百倍提升。
Agent群体智能来了！魔搭开源Agent自进化群体智能框架：群体记忆自动蒸馏与进化，8万+群体技能即取即用，智能体画像一键复用
个人或团队部署使用智能体面临状态易失、重复试错、迁移困难等痛点。魔搭ModelScope团队开源的Ultron框架，补上群体协作基础设施，解决经验沉淀、技能进化和画像共享问题，提升智能体协作效率。
Claude Design开源版本来了!支持超过 71 套最顶级的品牌设计系统，可以直接复刻，构建属于你的顶级网页!
Anthropic的Claude Design闭源，Open Design是其开源替代品。它支持超71套顶级品牌设计系统，可直接复刻构建网页，还支持多种coding agent，有完整提问机制，确保产出符合需求。