「SGLang Diffusion」共找到 106 篇相关文章
Codex正在重塑传统推理框架开发流程
作者用Codex完善SGLang Diffusion的SKILLS流程，修复诸多bug。让其做benchmark脚本，发现不同rmsnorm性能差异。应用flashinfer rmsnorm遇问题，Codex找出原因并修复，还提升了模型性能，体现强大生产力。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践
文章是对蚂蚁开源x SGLang Meetup分享的回放解读，聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案，分析在Blackwell上做GEMM + AllReduce融合算子的优势，介绍multimem指令等，还提及接入模型执行路径和性能结果。
Sglang 源码学习笔记（三）- 分布式和并行（以deepseek 为例）（WIP）
文章是 sglang 源码学习笔记，聚焦分布式和并行，以 deepseek 为例。介绍通信域类型，分析 ZMQ 和 torch.dist 通信，阐述 TP、DP、EP 实现，包括初始化、使用等，还涉及不同 Linear 层 TP 及 MoE 不同实现情况。
复旦北大联合美团LongCat提出TDAR：用“粗思考，细求证”破解Block Diffusion的速度精度悖论
复旦大学、北京大学联合美团LongCat提出Block Diffusion推理模型Test-Time Scaling新框架TDAR，引入‘粗思考，细求证’范式与有界自适应置信度解码，打破速度与精度零和博弈，在多基准测试表现出色。
对话阶跃星辰段楠：“我们可能正触及 Diffusion 能力上限”
阶跃星辰段楠指出当前视频生成技术或触天花板，真正有深度理解能力的模型尚待突破。他预测未来1 - 2年视觉领域基础模型有望出现，还分享视频生成及多模态AI未来核心洞察。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。
记录下SGLang开发，优化，debug的技巧之大SKILL时代已来临
文章记录SGLang开发等技巧，介绍Agent在编程开发领域的强大能力，如完成多种工作、提升模型速度。还提及Agent流程优化方向，提醒警惕其偏差，指出人的价值转变，成为设计、把关和提炼者。
DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持
Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。
Meta Shuffling的MoE Grouped GEMM kernel benchmark
作者拷贝fbgemm开源的moe grouped gemm kernel，修复小bug后与SGLang的Grouped GEMM Triton Kernel对比，结果显示fbgemm在MoE模型上性能提升显著，可应用到SGLang的ep - moe的grouped gemm kernel中。