算法论文8

数据集蒸馏两项研究：降本增效又可靠

新智元2025-10-24

AI 摘要

数据集蒸馏是降本增效路径。WMDD研究用Wasserstein度量保留数据几何特性，实验效果好；GUARD研究从损失景观出发，平滑曲率提升模型对抗扰动能力，成本低且普适性好。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

数据蒸馏实现几何保真与对抗鲁棒双重突破

深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。

在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。

视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。

视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。