「KV 缓存缩减」共找到 146 篇相关文章
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
Manus首次揭秘：Agent的关键在上下文工程
Agent成大模型主战场，构建方法待探索。Manus发blog揭秘，认为成功的AI Agent依赖上下文工程。团队选此实现快速迭代，虽实践不易，但总结出围绕KV缓存设计等关键点，其经验影响Agent表现。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。
内存股集体大跌，原因竟是谷歌这篇一年前的论文
美国内存股集体暴跌，诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法，可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失，有望打乱市场对内存芯片增长预期。
大模型能力，小模型成本！Google等 | 提出递归混合框架：MoR， 大幅提升LLM计算效率
Google提出递归混合框架（MoR），融合参数共享与自适应计算。它有轻量级路由和KV缓存策略，在不同路由机制各有优劣。实验显示，MoR在性能、计算和内存效率上表现出色，有望实现“大模型能力，小模型成本”。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。