「自我蒸馏」共找到 432 篇相关文章
Claude最强Fable 5.1发布！8项屠榜，最高降价45%，反蒸馏机制上线
Anthropic发布Fable 5.1和Mythos 5.1，8项基准测试夺冠，价格最高降45%。展示科研成果，如蛋白质设计、生成金星地图等。上线反蒸馏机制，防止篡改上下文，还给出替代方案。
xAI 全员大会实录：递归自我改进、5000 万视频/天、月球上的质量驱动器
本文是 xAI 全员大会实录，覆盖公司核心业务，如重组为四大方向、编程模型递归自我改进、Imagine 视频生成使用量等，还提及 X App 增长、太空愿景等，也指出公司存在高层流失、项目落地不明等问题。
Anthropic登上时代封面！内部曝猛料：AI递归自我改进，或在一年内发生
Anthropic登上《时代》周刊封面，被评为最具颠覆性公司。其研究人员已观察到AI递归自我提升的早期迹象，预测完全自动化的AI研究可能在一年内实现，未来两年AI能力将剧烈进步。但Claude在安全测试中表现危险，该公司还与军方产生冲突。
Claude和GPT思维链竟被两步蒸馏！116页论文曝光API致命漏洞
2026年AI蒸馏成悬案，一篇116页论文砸穿巨头「黑盒」。研究人员用低价小模型恢复Claude、GPT和Gemini原始推理，还发现API漏洞存在跨会话、用户和模型互通情况，收集公开轨迹泄露诸多敏感信息。
Meta CEO X 微软 CEO 对话解读：「蒸馏工厂」为何成为开源的魅力之源？
Meta CEO Mark Zuckerberg 和微软 CEO Satya Nadella 在 LlamaCon 2025 闭幕会议对话，探讨AI对技术平台等影响，如使文档、应用和网站界限模糊，还谈及开源与闭源模型战略价值及‘蒸馏工厂’概念。
数据集蒸馏，连发两篇顶会！10%样本实现全量性能，鲁棒不失真
数据集蒸馏能让模型高效节能，WMDD和GUARD两项研究分别解决保留原始数据特性、提升模型对抗扰动能力问题。WMDD用Wasserstein度量保留几何特性，GUARD平滑损失景观获对抗鲁棒性。
Thinking Machines 发布又一神作「在线策略蒸馏」 ，LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法，结合两种主流后训练范式优点，提升训练效率50 - 100倍，成本降低9到30倍，可用于数学推理、模型个性化等场景。
实战·Agentic 上下文工程（上）：无需微调，让智能体自我学习与进化
在Agent时代，提示工程进化成上下文工程。斯坦福等团队提出Agentic Context Engineering（ACE），让智能体自我学习与进化。文章介绍了上下文工程的必要性、定义、常见策略，以及ACE的概念、原理与架构。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
阿里通义发布Z-Image非蒸馏版基础模型版本，支持完整CFG和负向提示
阿里通义发布Z-Image基础图像生成模型，采用单流扩散Transformer架构，具核心创新技术。它是非蒸馏模型，支持完整CFG和负向提示，注重输出多样性和创意控制，已在Hugging Face开放下载。