算法论文8

数据集蒸馏两项研究：降本增效又可靠

新智元2025-10-24

AI 摘要

数据集蒸馏是降本增效路径。WMDD研究用Wasserstein度量保留数据几何特性，实验效果好；GUARD研究从损失景观出发，平滑曲率提升模型对抗扰动能力，成本低且普适性好。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

数据蒸馏实现几何保真与对抗鲁棒双重突破

深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。

在人工智能模型规模持续扩大的今天，数据集蒸馏方法能提升训练效率、降低成本，但蒸馏模型在安全性要求高的任务中抗干扰难。北航上海AI Lab团队提出ROME方法，无需对抗训练，显著提升模型鲁棒性，成果被ICML 2025接收且已开源。

本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。

当前大模型效率优化多聚焦降低单位Token计算存储开销，本文解读arXiv新预印论文，针对传统BPE分词的固有局限，提出CNF-MCE分词框架，可大幅提升Token压缩率，开辟大模型效率优化新路径。