「内存带宽」共找到 246 篇相关文章
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。
牛芯PCIe IP再进阶：从PCIe 5.0迈向PCIe 6.0，释放AI时代超高速互联潜能
AI大模型发展推动算力对互联带宽需求提升，牛芯半导体完成自研PCIe 6.0 PHY IP研发，构建了覆盖PCIe 3.0到6.0的完整高速互联IP产品矩阵，为国产高端芯片提供自主可控的超高速互联方案，目前已开放客户技术评估。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。
欲取代transformer的SSA(次平方稀疏注意力)解读
文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。
Linux之父彻底入坑AI！Claude Code写内核，性能暴涨3倍
本文报道Linux之父Linus Torvalds在Linux官方内核仓库新增带LLM后缀的分支，他指导Claude Code参与内核内存管理模块的代码编写、测试和文档撰写，优化后多线程读取性能暴涨3倍，还借助AI梳理十年前的旧代码，挖出3个隐藏多年的Bug，打破了Linus此前对AI的质疑。