「Confident Decoding」共找到 17 篇相关文章
蚂蚁开源 x SGLang Meetup技术回放解读系列之面向DeepSeek系列模型的深度优化与实践
文章是对蚂蚁开源x SGLang Meetup中「蚂蚁Theta面向DeepSeek系列模型的深度优化和实践」分享的解读，详细介绍了在H20-96G上对DeepSeek系列模型推理的优化方案，包括Prefill和Decode阶段的优化、通信优化、观测诊断等，并给出了评测结果。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
突破显存瓶颈：基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp，设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈，提升Decode吞吐并降低成本，经模拟验证效果显著，未来将拓展应用。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
图解Vllm V1系列5：调度器策略（Scheduler）
本文是图解Vllm V1系列5，聚焦调度器策略。先回顾vllm v1整体运作流程，接着阐述调度 - 推理的整体流程，包括将请求添加进Scheduler、Scheduler单步调度策略等，还对比了不同场景下的函数及调度逻辑。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。