开源动态8
sgl-kernel中MoE关键kernel优化全解析
GiantPandaLLM
AI 摘要
文章解析sgl-kernel中 `moe_align_block_size` kernel优化过程，从baseline到0x4版本，历经多次迭代。如加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销，大规模场景0x4优势明显。
阅读原文 · GiantPandaLLM
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
自然意志发布Natura-1具身智能模型
本文报道北京具身智能公司自然意志发布全新Natura-1模型，该50B参数MoE模型基于百万小时人类第一视角经验预训练，可驱动20自由度灵巧手实现零样本泛化，完成各类复杂日常操作，攻克了机器人灵巧与通用难以兼得的难题。
机器之心
新闻资讯8
自然意志发布Natura-1通用基础模型
自然意志是专注物理世界通用智能的研究公司，本文正式发布其首个面向物理世界的通用基础模型Natura-1，介绍了模型技术方案、评测结果与发展路线。
五源资本 5Y Capital
新闻资讯8
江波龙高通合作手机端跑通30B大模型
本文报道江波龙携手高通，在2026骁龙峰会上基于第六代骁龙8超级至尊版移动平台，跑通端侧30B-MoE大模型本地推理，探讨存储行业转型AI技术周期的产业逻辑。
甲子光年
开源动态9
SGLang优化DeepSeek-V4.1达764 tokens/s
本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录，详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程，公开4×B300 GPU实测吞吐数据，附复现代码与步骤
GiantPandaLLM