「SGLang」共找到 68 篇相关文章
关于Pingpong和Cooperative的一些感性理解
作者团队在SGLang支持Hopper架构相关GEMM，经分析发现多数场景Pingpong调度策略性能优于Cooperative，K维度小的场景DeepGEMM性能优于CUTLASS。本文重点介绍Pingpong性能优势及Cooperative无法Overlap Epilogue的原因。
我也入选了 Codex for Open Source
作者以SGLang Core Developer身份申请OpenAI的Codex for Open Source计划，本不抱希望，却收到入选通知，可免费使用6个月Codex Pro计划，认为积极参与开源是对的，Codex会加快开源框架迭代。
Pingpong Schedule并不是万能钥匙
SGLang社区开发者反馈，SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致，因算力提升，其使TensorCore未充分利用、TMA效率低，建议用Cooperative策略。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
智谱首秀工程实战经验！Coding Agent日均数亿次调用，GLM-5把长上下文推理的底层问题全逼出来了
今年 2 月智谱 GLM Coding Plan 上线后很受欢迎，随着用户和调用量上涨，Coding Agent 成压力测试场。4 月 30 日智谱发布博客，披露 GLM - 5 系列模型在超大规模 Coding Agent 调用场景下的底层推理技术突破及工程实践经验。
大语言模型的解耦：人工智能基础设施的下一轮进化
人工智能模型发展快，但基础设施滞后，传统单体式服务器架构成瓶颈。文章介绍大语言模型推理的预填充与解码阶段差异，指出解耦架构可突破困境，还阐述其经济影响、实施策略、应用案例及未来展望。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。