「SGLang Diffusion」共找到 106 篇相关文章
sglang 源码学习笔记（二）- backend & forward 过程
本文深入解析sglang forward核心实现全流程，介绍了forward传递过程、AttentionBackend数据结构，以flashinfer为例展开分析，还说明了cudaGraphRunner初始化、Capture、Replay过程，助读者理解代码。
SGLang支持GPT-OSS：从Day 0支持到性能增强
SGLang宣布重大更新，聚焦openai/gpt - oss - 120b模型深度性能优化与新功能。预填充和解码阶段吞吐量显著提升，支持多GPU，有推测解码等功能，还支持智能体应用程序，且不损害模型推理能力。
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
舍弃 VAE，预训练语义编码器能让 Diffusion 走得更远吗？
纽约大学谢赛宁团队、清华&快手 Kling 团队的研究者指出 VAE 制约当前 Diffusion 范式，提出用预训练视觉模型作语义编码器改进。介绍了 VAE 不足及 RAE、SVG 工作如何解决问题，将扩散模型从‘压缩优先’转为‘语义优先’。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
上交大 x vivo 团队：一个简单改动，让 diffusion 全面提升丨CVPR 2026
上交大与 vivo 团队提出 C²FG 方法，针对当前 diffusion 模型缺稳定可控生成机制问题，通过 score 差异实现动态引导控制。实验显示，该方法能提升多维度指标，改进生成分布，揭示生成机制新方向。
SGLang 贴近硬件：用编译产物（PTX/SASS）评审 PR #26588、DeepGEMM 与架构迁移
本文从「编译产物评审」视角，分析 SGLang 的 PR、FlashInfer DeepGEMM 及 Ampere→Hopper 架构迁移案例。指出算法面和编译产物面会有分歧，编译产物 diff 能提前揭示执行路径变化，对开源项目有增益。
12秒生成1万token！谷歌推出文本「扩散模型」Gemini Diffusion，研究员：演示都得降速看
谷歌将图像生成常用的“扩散技术”引入语言模型，推出Gemini Diffusion，12秒能生成1万tokens，速度比Gemini 2.0 Flash - Lite更快。它通过逐步优化噪声学习生成输出，目前是实验性演示，可申请体验。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。