「Cache 命中」共找到 42 篇相关文章
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制：仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。
DeepSeek 为什么把缓存涨了 11 倍？长上下文需求暴涨，得交点「存储税」了
8月17日，DeepSeek V4 Pro API输入和输出价格上涨，空闲时段缓存命中价涨5倍，高峰时涨11倍。此前其因高缓存命中率成性价比之选，但长上下文需求爆发致后端“缓存颠簸”，只能通过涨价收“存储税”。开发者可提高缓存命中率应对。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
谷歌公开全新极限压缩算法：LLM提速8倍、内存占用狂降6倍，精度零损失
谷歌推出全新量化算法 TurboQuant，瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点，能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步，实验数据表现优异，将改变搜索格局。
刚刚，谷歌Gemini 4全面开火：API限时半价、缓存直降95%，自建仿真教会机器人连中7球
本文报道谷歌发布新一代旗舰大模型Gemini 4 Argon，该模型升级百万token上下文窗口，多项专业评测成绩领先，推出限时降价促销，落地工程、科研、机器人等多场景，同时披露大模型新安全风险与应对方案
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
Claude Code 省 Token 指南：慎用 1M 上下文，不开新会话或者总是开新会话都不对
文章聚焦Claude Code省Token问题，分析配额消耗快的原因，介绍提示缓存机制，给出省钱策略、操作规则，还提及委派工作及澄清误解，强调让缓存多命中、上下文少装无关内容。
Token洪流的转向：当AI Agent成为Token消耗的主宰，什么样的推理服务基础设施才是刚需
Token消耗量转移，AI Agent成Token消耗主宰，大模型推理服务底层逻辑重塑。文章介绍AI Agent时代范式转变、对推理基础设施的需求，还阐述了为其打造的AI Serving Stack架构及优势，它获2025年度相关卓越奖。
SGLang 的 DeepSeek-V4.1 Flash Day 0 优化实录：4×B300 上 BS=1 达到 764 tokens/s
本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录，详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程，公开4×B300 GPU实测吞吐数据，附复现代码与步骤