开源动态7
SGLang开发、编译及Profile技巧分享
GiantPandaLLM
AI 摘要
作者分享SGLang开发等技巧：Tom神解决perfetto可视化kernel丢失问题，提供多Rank结果合并脚本；yyihuang教PR切换分支法；给出SGLang无视版本运行命令定位bug。
阅读原文 · GiantPandaLLM
记录下SGLang 开发，编译和Profile的几个小技巧
作者记录在SGLang开源一年学到的开发和Profile技巧。包括解决perfetto可视化PyTorch Profiler结果时kernel丢失问题、PR切换分支方法，还介绍让SGLang无视版本运行以定位bug的方法。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
用Agent优化SGLang 性能大幅提升
本文是百度百舸与SGLang联合Meetup的分享整理，讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化，覆盖多类模型场景，公布实测性能提升数据与百度百舸的通信优化效果。
GiantPandaLLM
开源动态9
推理成新中心 AI Infra边界重写
本文基于多开源社区联合大会的行业交流，分析AI落地生产后对基础设施的改变，指出推理成为新中心，Agent提前带出生产级问题，AI Infra边界正被重写。
InfoQ
开源动态9
SGLang CUDA流过多问题排查修复
本文分析SGLang运行DeepSeek-V4.1时，CUDA Graph出现上百条decode CUDA流的问题成因，介绍开源PR的修复方案，分享了压缩profiler显示行数的实用脚本方法。
GiantPandaLLM
开源动态9
SGLang优化DeepSeek-V4.1达764 tokens/s
本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录，详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程，公开4×B300 GPU实测吞吐数据，附复现代码与步骤
GiantPandaLLM