「KV 缓存缩减」共找到 146 篇相关文章
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
想做成好的AI应用，先从把它砍成“一小时版本”开始「吴恩达老师开发心法」
吴恩达老师分享AI开发实用建议，若开发时间有限，应缩减项目范围，直至能在现有时间内完成。如他将“观众模拟器”项目精简，在短时间构建基础版本，获多方面收获。
优步凭借 CacheFront 的改进实现每秒 1.5 亿次的读取操作
优步工程师更新 CacheFront 架构，实现每秒 1.5 亿次读取操作且确保强一致性。解决了旧设计中陈旧数据读取问题，引入新协议和机制，弃用专用 API，还增强监控工具，提高缓存命中率。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
Google 发了个压缩算法，内存砍 6 倍，速度快 8 倍，精度零损失
Google Research发布TurboQuant压缩算法，将在下月ICLR 2026正式发表。该算法把大模型的KV Cache压缩到3 bit，内存降6倍、速度快8倍且精度零损失，解决了传统算法的压缩开销问题。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
超长 Agent 任务如何不崩盘：Claude Code 上下文管理机制深度拆解。
文章深度拆解Claude Code上下文管理机制，包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统，还为长任务Agent开发者提供了管理启示。
LLM协作告别文本形式：直接“脑对脑”，Cache-to-Cache实现语义瞬时传输
现有多LLM系统依赖文本通信，效率低且易失真。论文提出Cache - to - Cache（C2C）范式，让LLMs通过KV - Cache“脑对脑”交流，实现高效精准语义传输，在多类任务中提升性能与效率。
刚刚，DeepSeek新模型MODEL1曝光，3处架构升级！
DeepSeek更新FlashMLA时曝光新模型MODEL1，从diff看它在MLA KV-Cache存储与访问方式上和V3/V3.2系列有3个本质差异，如物理排布更紧凑、引入‘extra’两段式cache、头维固定512×512。