开源动态8

零开销技术将Wan2.2推理速度加速60%

GiantPandaLLM2025-12-21

AI 摘要

作者在优化SGLang对Wan2.2支持时，发现推理性能问题。通过零开销逐层权重卸载技术，将推理速度提升60%，突破显存墙。还实现All2All预热，消除第1步延迟，该技术适用于大型模型等场景。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

用Agent优化SGLang 性能大幅提升

本文是百度百舸与SGLang联合Meetup的分享整理，讲解如何让Agent完成从瓶颈定位、Kernel修改到端到端验证的全流程SGLang性能优化，覆盖多类模型场景，公布实测性能提升数据与百度百舸的通信优化效果。

本文分析SGLang运行DeepSeek-V4.1时，CUDA Graph出现上百条decode CUDA流的问题成因，介绍开源PR的修复方案，分享了压缩profiler显示行数的实用脚本方法。

本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录，详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程，公开4×B300 GPU实测吞吐数据，附复现代码与步骤

在AGI Playground 2026圆桌论坛，Axiom Math联合创始人等探讨AI核心问题。提到AI进入生产环境，可验证或成瓶颈，还从长任务智能体、推理基建等多方面深入交流，如模型验证、基建优化等。