「CUDA内核」共找到 171 篇相关文章
大模型能否为不同硬件平台生成高性能内核？南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核，当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench，打破现有评测基准局限，构建模块化评测体系，多模型实测，还指出LLM短板并明确未来方向。
SGLang 中的 CUDA Graph 进阶指南
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。
AI生成苹果Metal内核，PyTorch推理速度提升87%
Gimlet Labs研究显示，AI能自动生成苹果芯片Metal内核，使PyTorch推理速度提升87%，在215个PyTorch模块上平均加速1.87倍。多个模型组合生成最优内核概率更高，不过研究对比方式遭质疑。
使用 Hugging Face 轻松构建并共享 ROCm 内核
自定义内核是高性能深度学习基础，但构建整合麻烦。Hugging Face的kernel - builder和kernels库可助轻松构建、分享自定义内核。本文聚焦构建ROCm兼容内核，展示构建、测试与分享步骤。
【博客转载】NVIDIA Docker CUDA Compatibility /Nsight Compute In Docker
本文围绕NVIDIA Docker CUDA兼容性及Nsight Compute展开。指出使用NVIDIA NGC CUDA Docker容器时，要保证宿主机CUDA驱动与容器内运行时库版本一致，否则会有问题。还介绍了在Docker中安装和使用Nsight Compute的方法及示例。
硅谷前沿访谈：CUDA之父复盘英伟达20年护城河，揭开万亿算力帝国的底牌
奇点智能研究院院长李建忠采访了“CUDA 之父”Ian Buck，探讨 CUDA 20 年演进、英伟达技术产品及生态。Ian Buck 介绍了 AI 基础设施新阶段，阐述 CUDA 成功原因，还谈及英伟达软硬件协同、应对竞争等问题。
刚刚，英伟达CUDA迎来史上最大更新！
几个小时前，NVIDIA CUDA Toolkit 13.1 正式发布，英伟达称这是 20 年来最大更新。此次更新包括 NVIDIA CUDA Tile 发布、Runtime API exposure of green contexts 等，还涉及软件、多进程服务、开发者工具、数学库等多方面改进。
苹果向英伟达生态妥协了！MLX框架主动适配CUDA
苹果特意为端侧AI模型训练推出的MLX框架，主动增加了CUDA支持。因CUDA在AI开发领域占主导，且生态强大，苹果此举是借力英伟达生态、扩大自身影响力的战略选择，也避免侵权。
Meta「轻量级」KernelLLM颠覆GPU内核生成，8B参数碾压GPT-4o
Meta推出基于Llama 3.1微调的8B参数KernelLLM，能将PyTorch代码转高效Triton GPU内核。实测单次推理性能超GPT - 4o和DeepSeek V3，多次生成得分更高，让内核开发更易上手。
英伟达周末双炸！CUDA二十年最大更新，顺手屠榜AGI比赛
本周末英伟达有两大动作。一是推出CUDA 13.1，这是CUDA平台诞生二十年来最大更新，引入CUDA Tile编程模型等。二是在Kaggle ARC Prize 2025竞赛中，团队用4B小模型变体夺冠，靠合成数据等策略。