「Kernel Fuse」共找到 48 篇相关文章
Nsight Python 简介
Nsight Python 是基于 NVIDIA Nsight Tools 的 Python profiling 接口，能采集 CUDA kernel 性能指标。文章介绍其环境依赖、常用 API，还给出多个示例及限制，如可与 Agent 配合，辅助写出更快的 kernel 代码。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算，发现ncu对L20 GPU上特定指令用错误执行延迟算指标，导致异常，还给出GEMM Kernel性能分析建议。
成立7个月首发声！百亿美金独角兽万字雄文：攻克LLM推理非确定性难题
估值120亿美元的Thinking Machines Lab成立7个月首次公开研究成果，揭示LLM推理非确定性的真凶是kernel缺乏批处理不变性。介绍了实现批处理不变性的方法，还通过实验展示其效果及对同策略强化学习的意义。
CUTE DSL学习笔记一 CUTLASS 4.3.5 CuTe DSL 文档翻译
本文是 CuTe DSL 4.3.5 文档翻译，介绍了其核心概念、使用方法、与 CUTLASS C++ 关系等。它通过 Python DSL 降低 CUDA Kernel 开发门槛，支持 JIT 编译、多种架构，还说明了当前限制与未来计划。
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。
微软发布 Agent 安全框架 MAF
微软发布 Agent 安全框架 MAF，它是 AutoGen + Semantic Kernel 的统一继任者。有三层中间件，对 MCP 采样默认拒绝，还加了工具审批中间件，编排用图模型，为生产环境安全治理设计。
记录下SGLang 开发，编译和Profile的几个小技巧
作者记录在SGLang开源一年学到的开发和Profile技巧。包括解决perfetto可视化PyTorch Profiler结果时kernel丢失问题、PR切换分支方法，还介绍让SGLang无视版本运行以定位bug的方法。
CUDA内核之神、全球最强GPU程序员？OpenAI的这位幕后大神是谁
AI圈聚光灯常聚焦明星人物，OpenAI一位工程师因编写关键CUDA Kernel引发关注，网友猜测是Scott Gray。他在Nervana开发maxas、maxDNN，加入OpenAI后开发块稀疏GPU内核并开源。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
腾讯AI Lab开源可复现的深度研究智能体，最大限度降低外部依赖
腾讯AI Lab推出全开源智能体框架Cognitive Kernel - Pro，解决现有开源框架依赖付费工具问题。它有模块化架构等核心设计，创新训练方法，在多任务中表现出色，降低外部依赖，相关论文登HuggingFace热榜。