推荐文章8

vLLM PIECEWISE技术：prefill阶段性能提升利器

GiantPandaLLM2025-09-27

AI 摘要

作者介绍vLLM PIECEWISE CUDA Graph技术，其核心分片编译让CUDA Graph用于prefill阶段，减少CPU开销。还涵盖算子融合、集合通信融合、编译缓存等特性，提升模型性能且便于维护。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

金煜阳：大模型推理加速全链路方案揭秘

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。

作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。

nanobot是受Clawdbot启发的超轻量级个人AI助手，仅约4000行代码，比Clawdbot小99%，有核心功能。它代码清晰、资源占用少、易部署，还介绍了安装、使用、配置等内容。