「KV 缓存缩减」共找到 146 篇相关文章
缓存命中率99.93%！DeepSeek最适合的Harness来了，GitHub狂揽8.6万Star
DeepSeek官方版Harness未出，民间开源编程Agent「Pi」先火。它适配DeepSeek，让其缓存不命中率低至0.03%，调用成本大降。Composio测试显示Pi完成任务平均成本最低。同时，DeepSeek正组建团队做官方Harness。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
DeepSeek V4永久降价！缓存命中再打1折，实测编程成本骤降83%
DeepSeek两天连续两次降价，输入输出2.5折，命中缓存输入折上再1折且无时限。实测编程成本骤降83%，此前31.73元，打折后只需5.34元。其曾引发价格战，此次对海外用户冲击更大。
谷歌新论文把内存股价干崩了！KV cache压缩6倍，“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法，可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失，还能8倍加速计算。虽引发存储芯片巨头股价下跌，但目前只是实验室成果，仅解决推理阶段内存问题。
Claude 5.1双旗舰突然发布：跑分屠榜，反蒸馏，科研能力大幅跃升，缓存费用暴降75%
Anthropic发布Claude Fable 5.1和Claude Mythos 5.1两款大模型，性能登顶且解决开发者关注问题。缓存读取费用降75%，跑分屠榜，科研能力强，安全系统重构，合作实测效果好，盲测风格与GPT - 5.6 Sol不同。
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
AI智能体的上下文工程：Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得，包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容，还指出要保留错误信息、避免小样本带偏等。
一个任务50次调用，成本狂砍90%？Manus首次公开上下文工程秘诀，一堆反复重写换来的教训
Manus项目团队分享上下文工程秘诀。他们押注于此，使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则，助构建AI Agent者少走弯路。
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。