算法论文8

FDAM模块让视觉Transformer重获高清细节

机器之心2025-10-15

AI 摘要

北京理工大学等团队：针对 ViT 细节丢失问题，提出 FDAM 模块。它受电路理论启发，能在几乎不增成本下提升模型性能，解决‘频率消失’痛点，有广阔应用前景。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

PIXEL：突破词表瓶颈的多语言模型

当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。

本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。

当前大模型效率优化多聚焦降低单位Token计算存储开销，本文解读arXiv新预印论文，针对传统BPE分词的固有局限，提出CNF-MCE分词框架，可大幅提升Token压缩率，开辟大模型效率优化新路径。

清华大学自动化系研究者针对大模型上下文学习（ICL）中示例选择成本高、效果不佳的问题，提出Jev-LDE方法，仅对初始检索示例做一次局部编辑，即可大幅提升1-shot准确率，推理成本增量很低。