「反蒸馏」共找到 305 篇相关文章
Thinking Machines 发布又一神作「在线策略蒸馏」 ，LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法，结合两种主流后训练范式优点，提升训练效率50 - 100倍，成本降低9到30倍，可用于数学推理、模型个性化等场景。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
阿里通义发布Z-Image非蒸馏版基础模型版本，支持完整CFG和负向提示
阿里通义发布Z-Image基础图像生成模型，采用单流扩散Transformer架构，具核心创新技术。它是非蒸馏模型，支持完整CFG和负向提示，注重输出多样性和创意控制，已在Hugging Face开放下载。
多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。
「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据
复旦大学和上海人工智能实验室研究者提出 Rank - Surprisal Ratio (RSR) 度量方法，综合考虑样本信息量与对齐程度，在蒸馏实验中与学生模型后训练性能相关性高，可用于筛选推理轨迹和选择教师模型。
Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型
Qwen3技术报告揭晓8款模型关键技术，采用双模式架构，训练和微调分段进行，还“大带小”蒸馏数据。其融合思考与非思考模式，训练分多阶段，Qwen Chat还全量上线深度研究功能。
清华联手英伟达打造扩散模型新蒸馏范式！视频生成提速50倍，4步出片不穿模
清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。
清华初创&UIUC学者用7B模型在预测市场上自我蒸馏，跑赢GPT-5.6和Opus 5
UIUC学者联合清华初创团队Astraculum，围绕LLM部署阶段持续学习问题展开研究，提出Social World Model框架，基于预测市场数据测试，经自蒸馏的7B模型击败了GPT-5.6等多款前沿大模型，还搭建了专用MLOps引擎TrajOps。
靠创始人亲自假扮AI起家，如今估值10亿美元！印度CEO公开反内卷：从不在10点前起床，也不开例会
人工智能笔记创业公司Fireflies如今估值达10亿美元，但其早期是创始人手工敲击键盘提供服务。其CEO反内卷，让员工远程自由工作。不过早期人工假扮AI参会做法引争议，也有人认为是MVP验证。
靠创始人亲自假扮AI起家，如今估值10亿美元！印度CEO公开反内卷：从不在10点前起床，也不开例会
AI笔记创业公司Fireflies估值达10亿美元，其创始人曾人工假扮AI参会。CEO Krish Ramineni反内卷，让员工全远程自由工作。此“创业血泪史”公开后引争议，有人批有伦理风险，也有人认为是早期创业常态。