「CUDA Stream」共找到 104 篇相关文章
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及性能。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突,它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例,对比有冲突、填充、swizzling三种实现,还分析了swizzling和填充优缺点。
OpenAI失去了「CUDA内核之神」
近日热传Scott Gray已离开OpenAI。这位有「CUDA内核之神」称号的工程师声名起于Nervana Systems,加入OpenAI后贡献颇多。2026年OpenAI已流失不少人才,他的离开对公司影响值得关注。
通过查看GPU Assembly分析CUDA程序
文章是关于通过分析SASS代码提高内存受限CUDA程序性能的笔记。以向量复制程序为例,对比普通和向量化版本,通过查看SASS代码,解释向量化版本性能更快的原因是加载/存储数据量更大、启动块数更少。
AMD终于有机会撬动CUDA了吗?
过去AMD GPU虽性能强但难敌英伟达CUDA生态。2024年有机构认为其缩小软件差距概率为0,但如今判断改变,AMD软件团队进步,客户回归,可它仍需解决软件集群稳定性和Helios量产问题。
【博客转载】CUDA Vectorized Memory Access (文末送书)
文章展示如何用向量化内存访问提高CUDA函数有效内存带宽,实现朴素自定义设备内存拷贝函数,对比不同数据类型、大小及方法的性能,得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。
黄仁勋三次断言翻车!CUDA护城河,被谷歌一行代码凿穿
本文是新智元报道,基于SemiAnalysis的第三方测试,谷歌第七代TPU Ironwood推理性价比大幅领先英伟达最新B200、B300,谷歌通过软件重构打破CUDA护城河。
CUDA 20年护城河一个周末崩了 !Claude独自跑通AMD新GPU
一个周末,Claude直接把自家最前沿模型跑在全新AMD MI355X机架,人类工程师没改一行代码。AMD还给AI开发调GPU的工具,ROCm.AI可让Agent自己部署操作。Agent补生态积累短板,对CUDA生态形成降维打击。
“天下苦CUDA久矣!”KernelCAT率先掀桌,实现国产芯片无痛适配
中国AI产业与英伟达GPU及CUDA生态深度依赖,国产AI根基脆弱。KernelCAT作为AI Agent,能开发高性能算子,在昇腾芯片调优测试中表现出色,还能让国产模型在昇腾芯片上高效部署,实现35倍加速。
CUDA内核之神、全球最强GPU程序员?OpenAI的这位幕后大神是谁
AI圈聚光灯常聚焦明星人物,OpenAI一位工程师因编写关键CUDA Kernel引发关注,网友猜测是Scott Gray。他在Nervana开发maxas、maxDNN,加入OpenAI后开发块稀疏GPU内核并开源。