推荐文章7

Bruce解析sglang forward流程

GiantPandaLLM2025-05-18

AI 摘要

进击的Bruce：详细解析sglang forward核心实现全流程，以flashinfer为example介绍AttentionBackend数据结构和初始化流程，还说明了cudaGraphRunner工作方式，助读者理解代码。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

进击的Bruce：sglang分布式解析

文章是 sglang 源码学习笔记，聚焦分布式和并行，以 deepseek 为例。介绍通信域类型，分析 ZMQ 和 torch.dist 通信，阐述 TP、DP、EP 实现，包括初始化、使用等，还涉及不同 Linear 层 TP 及 MoE 不同实现情况。

作者通过三张圆明园鼠首照片开展实测，验证了全新3D AI Harness工作流：通用Agent调度任务、专业3D模型生成、专业软件后处理，仅1.47元即可生成可编辑可交付的3D资产，探讨了3D AI行业的新发展路径。

本文梳理亚马逊CTO Werner Vogels从业多年的技术思考路径：从供给侧造工具降低开发门槛，到转向关注使用者与真实需求，反思当前AI热潮下的行业焦虑，指出他本次2026年10月中国行，比泛滥的AI发布会更具关注价值。

本文整理自TikTok SRE技术负责人Salman Munaf的公开演讲，提出AI Agent具备调用外部服务、执行状态变更能力后，本质就是分布式系统，需运用分布式系统领域成熟经验规避风险、保障安全可靠。