新闻资讯8
尹良升：SGLang 助力大模型部署
InfoQ
AI 摘要
SGLang 核心开发者尹良升称，其核心优势是高性能与易二次开发，PD 分离等技术解决部署痛点。他认为模型会更大，多 GPU 和并行策略是部署关键，还提醒别忽视参数调试。
阅读原文 · InfoQ
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
Qwen3.8 - Flash - Next开源，SGLang首日支持
2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8 - Flash - Next，它是Qwen4架构早期预览版。SGLang在发布首日就提供完整支持，模型架构多方面升级，亮点众多，还给出启动命令及配置建议参考。
GiantPandaLLM
开源动态8
Qwen团队开源Qwen3.8-Flash-Next，SGLang首日支持
2026年8月26日，Qwen团队开源多模态MoE模型Qwen3.8-Flash-Next，是Qwen4架构早期预览版。SGLang在发布首日提供完整支持，模型架构多方面升级，亮点众多，还介绍各组件优化及PLE架构与卸载优势。
GiantPandaLLM
开源动态8
SGLang：CUDA Graph 进阶技术突破
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。
GiantPandaLLM
新闻资讯8
Ilya携新模型归来，重新定义AI规模化
掌握内幕的草莓哥爆料，Ilya正构建以TTT为核心的小型推理引擎。他预见传统大模型的死穴，SSI将TTT概念落地，其引擎在数据效率等方面优势明显。SSI获投资，本月或发新模型。
新智元