搜索：内存告警 - AI Reading Hub

「内存告警」共找到 224 篇相关文章

FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾

文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。

本文报道Linux之父Linus Torvalds在Linux官方内核仓库新增带LLM后缀的分支，他指导Claude Code参与内核内存管理模块的代码编写、测试和文档撰写，优化后多线程读取性能暴涨3倍，还借助AI梳理十年前的旧代码，挖出3个隐藏多年的Bug，打破了Linus此前对AI的质疑。