SGLang-Diffusion」共找到 106 篇相关文章

开源动态8

首个开源实现100%可复现的稳定RL训练框架来了!2次结果完全重合

SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理,性能有下降但有提升空间,还给出使用方法和未来规划。

量子位
开源动态8

蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践

文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读,详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案,包括Prefill和Decode阶段的优化、通信优化、观测诊断等,并给出了评测结果。

GiantPandaLLM
产品应用8

AI生图迎来大升级:图像编辑达到像素级!背后团队大多来自Stable Diffusion模型基础技术发明团队

Stable Diffusion缔造者团队创立的 BFL 发布全新图像生成模型 FLUX.1 Kontext,可实现像素级图像编辑。它能以文本和图像为输入,有 Pro、Max、Dev 三版本,已在多平台上线,获用户好评,但也面临竞争。

AI前线
推荐文章7

扩散语言模型深度思考

作者探讨扩散语言模型(dllm),认为其建模方式或冲击AR。团队在AAAI报告介绍多项工作,还整理当前diffusion问题及观点,如推理架构、词表、优化范式等,并附项目网站和agent demo。

机器之心
产品应用7

Codex在推理框架上能蹬出什么优化

作者复盘用Codex在SGLang中的实践,原本需3 - 4个月的工作量现缩短为1个半月。介绍保证代码质量方法,分享印象深刻的debug经历,列举在SGLang用Codex一个月的优化成果,还提及Claude Code使用遇阻。

GiantPandaLLM
算法论文8

142 TFLOPS 的差距:为什么在 Blackwell 上 FP4 MoE 算子工程至关重要

文章对三种主流MoE后端在Blackwell B200 GPU上做基准测试,发现SGLang与vLLM有142 TFLOPS差距,小batch时SGLang快1.84×。差异源于kernel融合、面向Blackwell的CUTLASS schedule及自适应grid sizing等优化。

GiantPandaLLM
开源动态8

SGLang Hierarchical Sparse Attention 技术深度解析

阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架,介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈,以 DeepSeek DSA 集成测试,使推理性能大幅提升,目前项目处于开发阶段。

阿里云开发者
开源动态7

开源模型叫板Nano Banana Pro!Stable Diffusion原班人马杀回来了

时隔一年,上一代AI生图顶流Flux带着新模型Flux.2杀回来了。该模型发布即开源,生图质量媲美谷歌Nano Banana,价格却便宜得多。它有多个版本可选,实测在指令遵循、精细控制方面有进步,但与Nano Banana Pro仍有差距。

量子位
算法论文8

与Gemini Diffusion共振!首个扩散式「发散思维链」来了

西湖大学齐国君教授团队提出扩散式「发散思维链」,这是面向扩散语言模型的新型推理范式。它与传统思维链不同,能非线性生成,已应用于两种模型,增强后的模型在相关任务上超越现有模型。

机器之心
8

4倍无损压缩Diffusion,6倍加速!仅需时间特征维护 | TPAMI'25

扩散模型时间特征对量化敏感,现有量化方法会致其扰动,影响图像质量。港科大等多校团队提出TFMQ - DM框架,优化时间特征相关模块,提升低比特量化性能,实现硬件加速。

新智元