开源动态8
2025年8月SGLang框架性能优化记录
GiantPandaLLM
AI 摘要
BBuf记录2025年8月SGLang性能优化，如在GPT - OSS和DeepSeek - V3等模型应用优化技术，像allreduce_add_rmsnorm、量化内核优化等，提升了端到端吞吐，减少延迟和内存开销。
阅读原文 · GiantPandaLLM
SGLang 2025-8月性能优化技巧记录
本笔记记录2025年8月SGLang框架性能优化实践，涉及GPT - OSS、DeepSeek - V3等模型，采用allreduce_add_rmsnorm、量化、通信、内核融合等优化技术，在性能提升、减少延迟等方面效果显著。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
Anthropic靠Claude把产品提速3倍
本文是花叔对Anthropic工程师Claude提速复盘的深度拆解，公开了Anthropic用AI辅助做产品性能优化的完整方法，花叔还实战验证了这套方法，整理出可复用的「闪电.skill」工具开源放出。
花叔
推荐文章9
用Agent优化SGLang 性能大幅提升
本文是百度百舸与SGLang联合Meetup的分享整理，讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化，覆盖多类模型场景，公布实测性能提升数据与百度百舸的通信优化效果。
GiantPandaLLM
开源动态9
SGLang CUDA流过多问题排查修复
本文分析SGLang运行DeepSeek-V4.1时，CUDA Graph出现上百条decode CUDA流的问题成因，介绍开源PR的修复方案，分享了压缩profiler显示行数的实用脚本方法。
GiantPandaLLM
开源动态9
SGLang优化DeepSeek-V4.1达764 tokens/s
本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录，详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程，公开4×B300 GPU实测吞吐数据，附复现代码与步骤
GiantPandaLLM