「Semantic Kernel」共找到 49 篇相关文章
Nsight Python 简介
Nsight Python 是基于 NVIDIA Nsight Tools 的 Python profiling 接口，能采集 CUDA kernel 性能指标。文章介绍其环境依赖、常用 API，还给出多个示例及限制，如可与 Agent 配合，辅助写出更快的 kernel 代码。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算，发现ncu对L20 GPU上特定指令用错误执行延迟算指标，导致异常，还给出GEMM Kernel性能分析建议。
成立7个月首发声！百亿美金独角兽万字雄文：攻克LLM推理非确定性难题
估值120亿美元的Thinking Machines Lab成立7个月首次公开研究成果，揭示LLM推理非确定性的真凶是kernel缺乏批处理不变性。介绍了实现批处理不变性的方法，还通过实验展示其效果及对同策略强化学习的意义。
SGLang 优化Triton FusedMoE 的一个新技巧
蚂蚁在SGLang中提交优化PR，针对Fused Triton MoE的Down Projection kernel加入TMA优化，在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著，还详细分析了优化背景、思路、实现细节及测试结果。
CUTE DSL学习笔记一 CUTLASS 4.3.5 CuTe DSL 文档翻译
本文是 CuTe DSL 4.3.5 文档翻译，介绍了其核心概念、使用方法、与 CUTLASS C++ 关系等。它通过 Python DSL 降低 CUDA Kernel 开发门槛，支持 JIT 编译、多种架构，还说明了当前限制与未来计划。
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。
智能体框架的选择：一文读懂9个主流AI智能体框架
文章深入探索截至2025年11月的9个主流AI智能体框架，阐述成熟AI框架核心要素，分析各框架优劣势、适用场景，助读者选适合团队和业务的框架。
记录下SGLang 开发，编译和Profile的几个小技巧
作者记录在SGLang开源一年学到的开发和Profile技巧。包括解决perfetto可视化PyTorch Profiler结果时kernel丢失问题、PR切换分支方法，还介绍让SGLang无视版本运行以定位bug的方法。
CUDA内核之神、全球最强GPU程序员？OpenAI的这位幕后大神是谁
AI圈聚光灯常聚焦明星人物，OpenAI一位工程师因编写关键CUDA Kernel引发关注，网友猜测是Scott Gray。他在Nervana开发maxas、maxDNN，加入OpenAI后开发块稀疏GPU内核并开源。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。