开源动态8
尹良升：SGLang 助力大模型低成本部署
AI前线
AI 摘要
SGLang 推理引擎受行业巨头青睐，核心开发者尹良升称其优势是高性能与易二次开发。他还介绍 PD 分离等技术解决的痛点，指出配置调试易被忽视，鼓励用多 GPU 和并行策略部署。
阅读原文 · AI前线
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
SGLang：CUDA Graph 进阶技术突破
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。
GiantPandaLLM
新闻资讯8
Ilya携新模型归来，重新定义AI规模化
掌握内幕的草莓哥爆料，Ilya正构建以TTT为核心的小型推理引擎。他预见传统大模型的死穴，SSI将TTT概念落地，其引擎在数据效率等方面优势明显。SSI获投资，本月或发新模型。
新智元
开源动态8
浙大开源PhyEdit，3D图像编辑超Nano Banana Pro
当前图像编辑模型处理三维状态常出错。浙江大学ReLER团队提出并开源PhyEdit，用显式3D几何preview指导图像编辑，还加入深度监督，构建数据集和评测基准，成绩超Nano Banana Pro，且GUI也开源。
量子位
新闻资讯7
Ilya首个模型或8月曝光
前OpenAI首席科学家Ilya离开两年后，X网友爆料其创办的SSI正探索基于TTT的小型推理引擎，当前版本或8月向少数用户开放。该爆料与Ilya观点及英伟达合作等线索相符，但也面临安全难题。
量子位