算法论文8

新能量模型 EBT 打破 Transformer++ 扩展上限

机器之心2025-07-07

AI 摘要

弗吉尼亚大学等研究者训练基于能量的 Transformer（EBT）。它能在无监督学习中让系统二思维自然涌现，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，泛化能力强，是新的有效范式。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

黄仁勋：英伟达61位“CEO”，AI将重塑工作

在一场访谈中，英伟达CEO黄仁勋称英伟达有61位“CEO”，犯错员工不会被解雇。他表示自己是“不情愿的CEO”，不喜欢演讲。还断言AI将改变计算机运作模式，未来工作岗位会变但不减少，没工作的人或因此谋生。

文章从生活小事引出AI相关知识，介绍了AI学习方法，包括掌握数学基础、编程能力，持续学习与实践。还提及AI现实挑战与机遇，回顾其发展历程，最后给学习者送上祝福与建议。

本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。

当前大模型效率优化多聚焦降低单位Token计算存储开销，本文解读arXiv新预印论文，针对传统BPE分词的固有局限，提出CNF-MCE分词框架，可大幅提升Token压缩率，开辟大模型效率优化新路径。