「Kernel Execution Overlap」共找到 58 篇相关文章
Temporal：Nvidia、OpenAI 都在用，为什么 Agent 还需要专门的长程任务工具？
本文编译了 Temporal CTO Maxim Fateev 的访谈。Temporal 提出 durable execution，确保工作流可靠执行，即使出错也能继续。它获 1.46 亿美元 C 轮融资，Nvidia、OpenAI 是客户。不过，它也面临 AI 发展和云厂商竞争等挑战。
真能戴出门的脑机接口来了？长得像普通毛线帽，戴上就能意念打字
本文报道Kernel前CEO跳槽EEG脑机接口初创公司Sabi的行业动态，介绍Sabi推出的毛线帽造型非侵入式脑机接口产品Sabi Cap，分析BCI领域不同技术路线的商业化前景，探讨消费级脑机接口的机遇与挑战。
142 TFLOPS 的差距：为什么在 Blackwell 上 FP4 MoE 算子工程至关重要
文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试，发现SGLang与vLLM有142 TFLOPS差距，小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。
TileLang深入详解-第二章-TileLang 核心编程抽象
文章深入解析TileLang核心编程抽象，介绍写kernel的方式，阐述TileLang三层抽象特点及适用场景，展示JIT工作流、接口和执行后端，还提及性能优化、基准测试、正确性校验，最后用GEMM示例对比三层抽象差异并给出使用建议。
【博客转载】CUDA Reduction
文章来自Lei Mao，介绍CUDA归约操作。先阐述归约操作在并行计算中的常见性，接着实现两个批量归约求和kernel，还给出构建和运行示例的命令及结果。最后探讨大数组归约求和的方法及性能影响。
【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快
文章介绍Hopper GPU新特性TMA，它能高效传输多维数组数据。文中展示用TMA对2D数组操作，如创建张量映射、编写kernel等。还讲了避免共享内存bank冲突的交织方法，最后介绍在Hopper GPU上实现高效矩阵转置的多种方式及性能。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
【博客转载】CUDA Shared Memory Swizzling
文章讨论用swizzling技术处理CUDA共享内存bank冲突，它可重排索引映射避免冲突且不浪费内存。以矩阵转置为例，对比有冲突、填充、swizzling三种实现，还分析了swizzling和填充优缺点。
Andrej Karpathy 盛赞！斯坦福团队新作，让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”，把推理延迟大幅降低，显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效，提出Megakernel以重构执行方式。