算法论文8

SSA算法：欲取代Transformer的新势力

Agent的潜意识2026-05-06

AI 摘要

SSA（次平方稀疏注意力）算法有望取代Transformer，支持12M tokens上下文，比fastAttention快52倍。它改变注意力扩展特性，经三阶段训练可可靠利用长上下文，在多项测试中有出色表现。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

苹果LensVLM：长上下文的放大镜

本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案，针对长上下文压缩易丢失关键信息的痛点，提出将长文本压缩为图像、模型按需展开细节阅读的新思路，相关研究已被NeurIPS 2026接收，公开了模型、代码与可体验Demo。

本文是面向零基础的大语言模型入门长文，无需机器学习背景，只用简单例子讲清大语言模型的核心逻辑，覆盖从原理到产品化的全流程，适合新人系统学习。

本文解读字节Seed团队的研究发现，解释了DeepSeek-V4模型因分块KV Cache压缩存在周期性性能波动，并给出普通用户可直接使用的应对技巧。

本文报道字节Seed团队发现DeepSeek V4基础模型因分块KV压缩存在周期性相位敏感性弱点，作者复刻实验实测现役DeepSeek V4.1-Flash，讨论了长上下文评测的盲区，新版本弱点已明显减轻。