「闪电注意力」共找到 232 篇相关文章
面向 Qwen 系列模型线性注意力的高性能优化实践
本文整理自阿里巴巴Qwen团队工程师在AICon 2026深圳站的技术分享，针对大模型长序列下线性注意力原实现并行度不足、访存冗余、SFU负载过高等痛点，推出FlashQLA高性能GPU算子库，实现最高3倍性能提升，现已开源并成为FLA官方后端。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
北大团队改造DeepSeek注意力，速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA，突破64K上下文索引瓶颈，相比DSA提速2 - 4倍，且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步，实测表现亮眼，也指出后续改进方向。
中国科学家首次手搓出“球状闪电”！刘慈欣科幻小说照进现实
4月16日，中科院上海光机所团队在《自然·光子学》发文，首次在实验室可控生成具球状闪电典型特征的宏观电磁孤子。其存活时间长、空间尺寸大，还能为研究提供受控平台，有潜在应用价值。
科学家发现大脑中的“旋转风暴”，其结构竟类似Transformer注意力机制
2026年6月18日，叶智文团队关于大脑旋转波的研究成果发表于《科学》。他们借助先进设备发现小鼠脑中旋转波，总结特征、验证其与全脑及行为关联，还指出其类似Transformer注意力机制，未来将继续深入研究。
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
「闪电.skill」发布！用Anthropic的方法论把你的产品提速3倍！
本文是花叔对Anthropic工程师Claude提速复盘的深度拆解，公开了Anthropic用AI辅助做产品性能优化的完整方法，花叔还实战验证了这套方法，整理出可复用的「闪电.skill」工具开源放出。
汪军对话 Rich Sutton：大模型在一定程度上分散了我们对智能理解的注意力
在RL China 2025开幕式上，汪军与图灵奖得主Richard Sutton对话。Richard认为大模型缺乏目标和奖励，分散对智能理解的注意力。他强调RL核心是从经验学习，智能原则含梯度下降等，建议将目标解读为“奖励”。