推荐文章7
mini - sglang:消息流转揭秘与调度预告
GiantPandaLLM
AI 摘要
文章聚焦mini - sglang,介绍消息从客户端到Scheduler的流转。其前端用ZeroMQ通信,各组件分工明确,有独特消息体系和正反向链路处理方式,还通过批量化和自定义序列化优化性能,后续将深入调度引擎。
阅读原文 · GiantPandaLLM
Mini-sglang-01:从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang,详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程,分析核心组件功能、消息体系、正反向链路及优化策略,还预告后续分析调度和模型实现逻辑。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
推荐文章7
猛猿:图解Vllm V1调度器策略
本文是图解Vllm V1系列5,聚焦调度器策略。先回顾vllm v1整体运作流程,接着阐述调度 - 推理的整体流程,包括将请求添加进Scheduler、Scheduler单步调度策略等,还对比了不同场景下的函数及调度逻辑。
GiantPandaLLM
推荐文章9
易宛尧:出海全环节值得AI重做
本文是Founder Park对出海服务商出海一叮创始人易宛尧的深度专访,内容涵盖易宛尧对当前AI硬件创业、品牌出海路径的判断,以及出海一叮用AI重构业务、打造AI Native组织的实践经验。
Founder Park
推荐文章9
康奈尔拆解机器人长期记忆难题
本文整理康奈尔大学Steven Waslander教授在IROS的主旨演讲,针对智能机器人上下文窗口限制的瓶颈,分享其团队在仓库机器人长期记忆领域的两项核心研究,给出多模态记忆检索与环境动态检测方案,具备工业落地参考价值。
AI科技评论
推荐文章8
AI Coding催生柔性软件新形态
本文为王博在《AI原生软件研发成熟度模型AISMM 2026》白皮书发布之际撰写,探讨AI Agent介入后软件形态、研发流程的变革,提出柔性软件概念与传统软件柔性化路径,为企业AI原生研发提供参考。
AI科技大本营