「JIT Kernel」共找到 52 篇相关文章
CUTE DSL学习笔记一 CUTLASS 4.3.5 CuTe DSL 文档翻译
本文是 CuTe DSL 4.3.5 文档翻译，介绍了其核心概念、使用方法、与 CUTLASS C++ 关系等。它通过 Python DSL 降低 CUDA Kernel 开发门槛，支持 JIT 编译、多种架构，还说明了当前限制与未来计划。
【博客转载】CUDA Kernel Execution Overlap
文章讨论CUDA kernel执行重叠，指出有足够计算资源时可重叠，通过调整`blocks_per_grid`值，观察到不同并行化程度。还提到隐式同步会影响重叠，可启用`per-thread` default Stream 禁用。
CUDA-MODE第77课课程笔记：用于GPU kernels的DSL
该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态，涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式，对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目，并给出使用建议。
[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析
文章详细介绍Triton Fused Softmax Kernel实现，从Naive Softmax到Triton实现，分析访存量、row索引计算、num_stages作用等，还修复官方年久失修代码，性能测试带宽吞吐提升约4倍。
迈向可编程观测：在GPU Kernel中构建类eBPF风格的性能探针
文章从CUDA基础讲起，以矩阵乘法为例介绍性能调优，再到PTX汇编知识，最后引入Neutrino框架构建可编程GPU性能探针。展示了GPU Kernel性能分析从宏观到微观的技术演进，提供新分析视角。
面向 SGLang 的 Profile Analysis SKILL：3 张表定位 Kernel Fuse 和 Overlap 机会
文章介绍了面向SGLang的Profile Analysis SKILL，其工作流统一，输出3张表定位Kernel Fuse和Overlap机会，支持多种分析方式和模型。还给出Qwen/Qwen3.5 - 4B和openai/gpt - oss - 20b的分析结果，并表明该SKILL能节省token、缩短工期，作者厌恶Torch Compile。
TileLang深入详解-第二章-TileLang 核心编程抽象
文章深入解析TileLang核心编程抽象，介绍写kernel的方式，阐述TileLang三层抽象特点及适用场景，展示JIT工作流、接口和执行后端，还提及性能优化、基准测试、正确性校验，最后用GEMM示例对比三层抽象差异并给出使用建议。
LightX2V fp4 quant kernel代码笔记
这是关于 LightX2V 里 `lightx2v_kernel` 做 FP4 量化 GEMM 的读码笔记，解释接口和约束、kernel 关键路径等问题，还介绍 NVFP4 和 MX-Formats 量化原理、代码实现，以及 LightX2V 项目中的实际使用。
了解下 FlashInfer SKILLS 写法
文章介绍 FlashInfer 的三个 SKILL 文件，涉及调试、性能测试、添加新 kernel 等开发场景。如通过装饰器做 CUDA 调试，提供两种计时方式做性能测试，还给出添加新 kernel 的 10 步流程及最终文件清单，实用价值高。
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。