返回首页
开源动态9

SGLang CUDA流过多问题排查修复

GiantPandaLLM
AI 摘要

BBuf分析,该问题源于CUDA Graph节点捕获顺序不当,每层换流最终累积上百条;调整顺序后流从144条降至19条,性能基本不变,还分享了profiler整理脚本。

阅读原文 · GiantPandaLLM
SGLang 某些模型的 CUDA Graph 为什么会有上百条 decode cuda stream?
本文分析SGLang运行DeepSeek-V4.1时,CUDA Graph出现上百条decode CUDA流的问题成因,介绍开源PR的修复方案,分享了压缩profiler显示行数的实用脚本方法。

相关文章