算法论文8

COLM三篇论文暴击Transformer祖传设计

量子位2026-08-17

AI 摘要

COLM 2026上三篇论文质疑Transformer设计：Ai2等机构发现长上下文架构选择影响大；康奈尔大学指出输出投影层信息损耗严重；图宾根大学表明层剪枝影响长链推理。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

苹果LensVLM：长上下文的放大镜

本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。

本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。

本文解读字节Seed团队的研究发现，解释了DeepSeek-V4模型因分块KV Cache压缩存在周期性性能波动，并给出普通用户可直接使用的应对技巧。

本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点，作者复刻实验实测现役DeepSeek V4.1-Flash，讨论了长上下文评测的盲区，新版本弱点已明显减轻。