开源动态8
SGLang SKILL定位Kernel Fuse与Overlap机会
GiantPandaLLM
AI 摘要
BBuf:SGLang的Profile Analysis SKILL可输出3张表定位Kernel Fuse和Overlap机会,支持多模型分析。该SKILL能节省token、缩短工期,还给出两模型分析结果,同时作者厌恶Torch Compile,因其在Diffusion模型中有不良表现。
阅读原文 · GiantPandaLLM
面向 SGLang 的 Profile Analysis SKILL:3 张表定位 Kernel Fuse 和 Overlap 机会
文章介绍了面向SGLang的Profile Analysis SKILL,其工作流统一,输出3张表定位Kernel Fuse和Overlap机会,支持多种分析方式和模型。还给出Qwen/Qwen3.5 - 4B和openai/gpt - oss - 20b的分析结果,并表明该SKILL能节省token、缩短工期,作者厌恶Torch Compile。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章9
用Agent优化SGLang 性能大幅提升
本文是百度百舸与SGLang联合Meetup的分享整理,讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化,覆盖多类模型场景,公布实测性能提升数据与百度百舸的通信优化效果。
GiantPandaLLM
开源动态9
SGLang CUDA流过多问题排查修复
本文分析SGLang运行DeepSeek-V4.1时,CUDA Graph出现上百条decode CUDA流的问题成因,介绍开源PR的修复方案,分享了压缩profiler显示行数的实用脚本方法。
GiantPandaLLM
开源动态9
SGLang优化DeepSeek-V4.1达764 tokens/s
本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录,详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程,公开4×B300 GPU实测吞吐数据,附复现代码与步骤
GiantPandaLLM
新闻资讯7
可验证或成AI发展新瓶颈
在AGI Playground 2026圆桌论坛,Axiom Math联合创始人等探讨AI核心问题。提到AI进入生产环境,可验证或成瓶颈,还从长任务智能体、推理基建等多方面深入交流,如模型验证、基建优化等。
Founder Park