「CUDA Kernel优化」共找到 1307 篇相关文章
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
CUDA内核之神、全球最强GPU程序员？OpenAI的这位幕后大神是谁
AI圈聚光灯常聚焦明星人物，OpenAI一位工程师因编写关键CUDA Kernel引发关注，网友猜测是Scott Gray。他在Nervana开发maxas、maxDNN，加入OpenAI后开发块稀疏GPU内核并开源。
迈向可编程观测：在GPU Kernel中构建类eBPF风格的性能探针
文章从CUDA基础讲起，以矩阵乘法为例介绍性能调优，再到PTX汇编知识，最后引入Neutrino框架构建可编程GPU性能探针。展示了GPU Kernel性能分析从宏观到微观的技术演进，提供新分析视角。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
CUTE DSL学习笔记一 CUTLASS 4.3.5 CuTe DSL 文档翻译
本文是 CuTe DSL 4.3.5 文档翻译，介绍了其核心概念、使用方法、与 CUTLASS C++ 关系等。它通过 Python DSL 降低 CUDA Kernel 开发门槛，支持 JIT 编译、多种架构，还说明了当前限制与未来计划。
极致优化Android平台APK的大小
文章以Android为例，介绍UE包可裁剪部分的优化思路与实践，优化APK大小和Native库运行时内存占用。从压缩NativeLibs、代码体积优化、资源裁剪等方面着手，还给出优化效果和额外资料。
用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300
北京时间昨日凌晨，OpenAI 公布自研推理芯片 Jalapeño 实测结果，其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯，9 个月完成硬件设计优化，3 个月搞定软件栈，威胁英伟达 CUDA 根基。
Karpathy刚开源的autoresearch，我拿来优化龙虾skill，成功率从56%飙到92%
Karpathy发布开源项目autoresearch，可让AI优化AI。作者分享用其优化skill的实践，介绍优化流程，指出可将模糊表述拆成可判断是非题，还提及定义评估标准的方法与常见错误修正。此外，还能用于代码性能优化。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
SGLang 中的 CUDA Graph 进阶指南
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。