推荐文章7

mini - sglang：消息流转揭秘与调度预告

GiantPandaLLM2026-02-03

AI 摘要

文章聚焦mini - sglang，介绍消息从客户端到Scheduler的流转。其前端用ZeroMQ通信，各组件分工明确，有独特消息体系和正反向链路处理方式，还通过批量化和自定义序列化优化性能，后续将深入调度引擎。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

猛猿：图解Vllm V1调度器策略

本文是图解Vllm V1系列5，聚焦调度器策略。先回顾vllm v1整体运作流程，接着阐述调度 - 推理的整体流程，包括将请求添加进Scheduler、Scheduler单步调度策略等，还对比了不同场景下的函数及调度逻辑。

8月18日，IJCAI 2026大会上，研究卓越奖得主Nick Jennings回顾智能体发展历程，指出当下智能体AI火热，它并非新概念，而是经数十年积累。还分享经验，展望从智能体到智能社会的未来。

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

OpenHex董舒认为AI最大价值是替人出面干活，提出数字员工概念。他指出判断力密度高的岗位易被AI取代，中国服务业有发展机会。还辨析数字员工类型，介绍其平台OPS Agent，最后分享了数字员工相关Q&A。