「CUDA Kernel优化」共找到 1307 篇相关文章
“天下苦CUDA久矣！”KernelCAT率先掀桌，实现国产芯片无痛适配
中国AI产业与英伟达GPU及CUDA生态深度依赖，国产AI根基脆弱。KernelCAT作为AI Agent，能开发高性能算子，在昇腾芯片调优测试中表现出色，还能让国产模型在昇腾芯片上高效部署，实现35倍加速。
Nsight Python 简介
Nsight Python 是基于 NVIDIA Nsight Tools 的 Python profiling 接口，能采集 CUDA kernel 性能指标。文章介绍其环境依赖、常用 API，还给出多个示例及限制，如可与 Agent 配合，辅助写出更快的 kernel 代码。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
英伟达周末双炸！CUDA二十年最大更新，顺手屠榜AGI比赛
本周末英伟达有两大动作。一是推出CUDA 13.1，这是CUDA平台诞生二十年来最大更新，引入CUDA Tile编程模型等。二是在Kaggle ARC Prize 2025竞赛中，团队用4B小模型变体夺冠，靠合成数据等策略。
如何让AI推荐企业官网？官网GEO优化怎么做？【必看】
白杨SEO从网站代码优化、站内内容、站外推广三方面，介绍让AI推荐企业官网及做好官网GEO优化的方法。如代码优化要主动提交网站、部署SSL证书等，还给出企业官网老板执行清单。
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
破局大模型推理困局！华为张君详解昇腾“融合算力”的优化秘籍
华为高级开发工程师张君在AICon大会演讲，围绕大模型推理优化，从模型、框架、算子层展开，结合案例阐述技术方案。分析大模型推理现状挑战，介绍加速技术，分享昇腾硬件算子优化实践及通算融合算子优化方法。
华为版CUDA，全面开源了
华为宣布为昇腾AI GPU开源CANN软件工具包及Mind系列套件、工具链，让昇腾更好用。CANN类似华为版CUDA，目前到8.0版，支持多深度学习框架。同日，传奇GPU架构师创业公司浮出水面，挑战英伟达。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
CUTLASS 笔记 (2)：混合精度 GEMM kernel
文章介绍实现支持不同精度的 GEMM 算子，解析精度转换技术细节，还介绍根据 PTX 文档实现自定义 FP8 精度的 GEMM kernel，包括揭开 MMA Atom 面纱、分析 TV 与 MN Layout 等，最后完成精度验证。