搜索：内存密集型内核

「内存密集型内核」共找到 304 篇相关文章

FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾

文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。

OpenAI新推理模型取得十项数学进展，如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望，因证明有AI味且难理解。此外，Lean证伪科拉兹猜想被指利用内核漏洞，专家提醒Lean验证有局限。