「内存墙」共找到 235 篇相关文章
开源动态7
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。
GiantPandaLLM
算法论文8
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
GiantPandaLLM
算法论文8
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
Agent的潜意识
产品应用7
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。
GiantPandaLLM
新闻资讯9
Linux之父彻底入坑AI！Claude Code写内核，性能暴涨3倍
本文报道Linux之父Linus Torvalds在Linux官方内核仓库新增带LLM后缀的分支，他指导Claude Code参与内核内存管理模块的代码编写、测试和文档撰写，优化后多线程读取性能暴涨3倍，还借助AI梳理十年前的旧代码，挖出3个隐藏多年的Bug，打破了Linus此前对AI的质疑。
新智元