开源动态7

进击的Bruce：sglang分布式解析

GiantPandaLLM2025-05-20

AI 摘要

进击的Bruce：以 deepseek 为例剖析 sglang 分布式和并行。介绍通信域类型，如 ZMQ 和 torch.dist 通信；阐述 TP、DP、EP 实现细节，包括初始化、使用；分析不同 Linear 层 TP 及 MoE 不同实现逻辑。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

苏剑林揭秘 Kimi K3 架构升级内幕

文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。

AI传奇人物Noam Shazeer宣布离开谷歌，转投OpenAI。他是Transformer架构论文作者之一，贡献卓越。Sam Altman称等他10年，OpenAI研究负责人欢迎其加入。这对OpenAI是胜利，对谷歌Gemini研发是打击。

AMD AI开发者日揭晓八大硬核GPU Workshop、技术专题及“作品说话”主题分论坛嘉宾与话题，覆盖AI Agent、RLHF、MoE大规模训练等前沿领域，还有多场实操分享。

文章深度解读了DeepSeek-V4，从产业、生态和架构维度拆解其效率账本。它成本低，补齐短板适配昇腾芯片，但极致省钱也有代价，如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。