深度拆解，硬核解构，揭开vLLM推理系统实现高效吞吐的秘籍

文章深度拆解 vLLM 推理系统，介绍其核心组件和高级特性，包括推理引擎流程、调度机制、高级功能等，还提及系统扩展、分布式部署、性能测量等内容，助力读者理解推理引擎工作原理。

DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持

Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。

听LLaMA Factory、vLLM、RAGFlow作者亲述顶级开源项目的增长法则｜GOBI 2025

在开发中，开源项目易，维护让其活起来难。12月21日GOBI 2025大会上，LLaMA Factory、vLLM、RAGFlow等项目作者将分享顶级开源项目增长法则，大会还有众多精彩环节等。

AI Infra入门干货总结：大模型是如何高效推理的

作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。

本文关注vllm V1中管控模型分布式推理的Executor部分，介绍其类型、Executor-Workers架构及数据传输机制，对比V0架构优势，以单机多卡的MultiprocExecutor为例展开讲解，还提及不同数据量的传输方式及相关代码。

AI Infra进阶：如何让大模型输出确定的结果

文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。

21

本文聚焦vllm v1中管控模型分布式推理的核心Executor部分，介绍其4种类型及适用场景，以mp类型为例阐述Executor - Workers架构，还说明了大小数据在两者间的传输机制及原理。

传言：华为版 DeepSeek R2 本月发布

据 Huawei Central 报道，DeepSeek R2 可能本月 15 至 30 日发布，运行在华为 Ascend 910B 集群，硬件利用率 82%，算力 512 PetaFLOPS FP16，效率达 A100 的 91%，将与 ChatGPT 5 竞争，但消息未证实。

妈妈再也不用担心延迟了！斯坦福手搓Llama超级内核，推理仅需0.00068秒

斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」，将Llama - 1B前向传播融入单一GPU内核，H100上提速1.5倍，B200上每次推理仅0.00068秒，比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。

LLM加速利器LMCache，极大降低GPU资源消耗

LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。