「蒸馏」共找到 118 篇相关文章
一夜颠覆Sora神话，H200单卡5秒出片！全华人团队开源AI引爆视频圈
UCSD等机构发布FastWan系模型，用「稀疏蒸馏」训练方案，让视频去噪速度飙升70倍。FastWan在单张H200上5秒生成480p视频，模型权重等全开源，改写AI视频生成格局。
NeurIPS 2025 | 北大联合小红书提出Uni-Instruct：ImageNet单步生图FID进入1.0时代！
北大联合小红书提出的 Uni - Instruct 框架被 NeurIPS 2025 接收，它统一超 10 种单步扩散模型蒸馏方法，在多项任务达最佳性能，还能用于文本到 3D 生成。
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
Jeff Dean最新访谈：未来开发者人均50个智能体，写需求成核心技能
谷歌首席AI科学家Jeff Dean在访谈中预言，未来开发者人均管理50个智能体，写需求成核心技能。他还揭秘谷歌帕累托前沿策略，介绍蒸馏技术让小模型接近大模型性能，强调多模态及低延迟价值，给出未来模型发展预测。
实时生成视频！StreamDiT每秒16帧，单卡生成
现有文本生成视频模型多为离线生成，无法满足实时交互需求。加利福尼亚大学与Meta联合提出StreamDiT模型，采用流匹配等方法，蒸馏模型可单卡每秒16帧实时生成512p视频，不过仍有伪影问题。
π0.7来了！涌现出组合泛化、跨本体迁移能力，VLA又行了？
具身赛道玩家 Physical Intelligence 发布新模型 π 0.7，它展现出组合泛化和跨本体迁移能力，还能通过知识蒸馏学会优化技巧。其强大源于杂数据和细提示，未来有望解决复杂任务。
穷人福音！MIT研究：不用堆显卡，抄顶级模型作业就成
MIT研究把59个不同模型凑一起，发现强大模型对物质理解趋同，且性能越强思维越接近。研究还指出性能不佳模型的问题，认为可通过模型蒸馏让小模型模仿大模型，实现算力自由。
EMNLP2025 | 解耦视觉与推理，港大探索视觉语言模型"眼智分离"新范式
当前大视觉语言模型处理复杂推理任务时，常过分依赖语言知识，忽视图像关键信息。港大等团队提出ProReason框架，其蒸馏的ProReason - VL和ProReason - Q3模型性能提升显著，为LVLMs发展提供方向。