开源动态7

进击的Bruce：sglang分布式解析

GiantPandaLLM2025-05-20

AI 摘要

进击的Bruce：以 deepseek 为例剖析 sglang 分布式和并行。介绍通信域类型，如 ZMQ 和 torch.dist 通信；阐述 TP、DP、EP 实现细节，包括初始化、使用；分析不同 Linear 层 TP 及 MoE 不同实现逻辑。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

iPhone断网可跑35B国产开源大模型

本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7，其35B-A3B版本总参数35B，推理仅激活3B，仅需3G内存即可在iPhone等手机断网流畅运行，性能领先同类模型，详解了其优化技术与行业价值

本文深度梳理了DeepSeek梁文锋过去三年署名的11篇AI核心论文，还原其从成本破局到Agent基础设施卡位的底层技术路线，拆解各论文核心突破，展现中国大模型差异化竞争路径。

本文是量子位作者对阶跃星辰新发布的开源旗舰大模型Step 5 Preview的实测与解读，介绍了其参数架构、评测排名、成本优势，展示了多类任务实测效果，分析了技术路线与行业价值。

本文介绍中国电信AI推出的全栈国产化轻量级代码智能体大模型Xing4.0-29B-A4B，该模型适配国产算力，4bit量化后单张RTX 3090即可本地部署，瞄准企业数据不出域的AI办公需求，现已开源上线。