推荐文章7

BBuf分享SGLang开发调试新技巧

GiantPandaLLM2025-12-17

AI 摘要

BBuf分享SGLang开发、debug技巧：可多线程加载模型权重；短期崩溃用cuda-gdb定位，长期崩溃加参数记录请求；还能加NVTX标记分析性能，查看固定batch_size下Decoding性能。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

Qwen3.8 - Flash - Next开源，SGLang首日支持

2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8 - Flash - Next，它是Qwen4架构早期预览版。SGLang在发布首日就提供完整支持，模型架构多方面升级，亮点众多，还给出启动命令及配置建议参考。

2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8-Flash-Next，是Qwen4架构早期预览版。SGLang在发布首日提供完整支持，模型架构多方面升级，亮点众多，还介绍各组件优化及PLE架构与卸载优势。

本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。

文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。