「蒸馏工厂」共找到 219 篇相关文章
总成本降低30倍，告别昂贵后训练，在线策略蒸馏敲开大模型后训练的未来
明星公司Thinking Machines由前OpenAI首席技术官联合创立，其研究团队提出在线策略蒸馏的LLM后训练方法。该方法结合在线策略训练与蒸馏优势，解决后训练两难困境，成本降30倍，还为持续学习和个性化打开新大门。
抗干扰能力提升近40% ！无需对抗训练，北航上海AI Lab新蒸馏方法提升模型鲁棒性 | ICML 2025
在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。
被曝蒸馏DeepSeek还造假！欧版OpenAI塌房了
被誉为欧洲版OpenAI的Mistral被离职员工爆料多项黑幕，其最新模型疑似直接蒸馏自DeepSeek，却包装成RL成功案例，歪曲基准测试结果。此前就有人发现其模型与DeepSeek相似，目前官方暂无回应。
谢赛宁与Jaakkola团队重磅研究：无数据Flow Map蒸馏
麻省理工学院Tommi Jaakkola和纽约大学谢赛宁团队联合研究，提出无需数据、仅从先验分布采样实现flow map蒸馏的新方法。该方法可规避“教师 - 数据不匹配”风险，在ImageNet实验中表现出色。
数据蒸馏的双重突破：从几何保真到对抗鲁棒
深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。
AI竞赛下半场：为什么说“超级工厂”是最优解？
2025年夏天，巨头们因Agent的崛起对AI热情高涨，砸钱堆算力的背后是算力供不应求的困境。云计算因其具备极致的规模化、先进的生产工艺、柔性生产、智能管理和生态链接能力，被认为是AI的“超级工厂”。阿里云作为实例，展示了其完整的AI生产体系。
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
黄仁勋拉六大金融巨鳄入局！狂砸5000亿美金建AI工厂：算力即收入
英伟达黄仁勋拉Apollo、黑岩等六家金融巨鳄入局，将调动超5000亿美元资本建AI工厂。他认为AI从研究走向生产，算力即收入，且英伟达算力特殊，具备基础设施资产投资属性。
想实现AGI，得先建好“AI工厂”
人工智能算力需求膨胀，行业陷入‘暴力美学’迷思。摩尔线程在2025 WAIC前夕提出‘AI工厂’理念，解构其‘五要素’，并展示多领域应用案例，为算力建设提供系统性解法。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。