「缓存命中率」共找到 108 篇相关文章
更省 Token 的国产 Codex：ZCode，加上 DeepSeek 更夯！
介绍国产 Codex 平替 ZCode，它有 100 万用户，能接 DeepSeek，模型选择开放，缓存命中率高省 Token，插件生态完善，还介绍了安装、接入方法及多种实用功能。
优步凭借 CacheFront 的改进实现每秒 1.5 亿次的读取操作
优步工程师更新 CacheFront 架构，实现每秒 1.5 亿次读取操作且确保强一致性。解决了旧设计中陈旧数据读取问题，引入新协议和机制，弃用专用 API，还增强监控工具，提高缓存命中率。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
一份命中率 80% 的 AI 预测复盘｜拾象年度预测
拾象团队复盘 2025 年 20 个 AI 关键预测，命中率达 80%。涵盖行业格局、技术路径等多方面，如微软投资 Anthropic改变格局、Google 逆转颓势等，也指出对部分方面过于乐观，还展望 2026 年 AI 领域。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
深度拆解 Hermes Agent 的记忆系统：它如何修正 OpenClaw 的误区
文章深度拆解 Hermes Agent 记忆系统，介绍其四层记忆系统，包括提示词记忆、SQLite 历史会话存档、智能体技能管理和用户建模。与 OpenClaw 对比，Hermes 更关注缓存效率，遵循冷热分离、缓存优先等原则。
超棒！打造顶级智能体Claude Code的经验教训
Claude Code工程师Thariq文章受开发者盛赞，揭示打造智能体经验。提示词缓存是关键，要合理排列顺序；管理动态上下文需避免破坏缓存；为智能体选适配工具，随模型进化调整行动边界。
Claude Fable 5.1 发布：缓存读降价 75%，但实际更贵了
Anthropic 发布 Claude Fable 5.1 和 Mythos 5.1。Fable 5.1 性能全面上涨，但出现价格悖论，缓存读降价 75% 实际更贵。在 Agent 类任务与 Opus 5 基本持平，推出 EFS 应对数据留存争议，还有多项科研演示。
Claude Code 省 Token 指南：慎用 1M 上下文，不开新会话或者总是开新会话都不对
文章聚焦Claude Code省Token问题，分析配额消耗快的原因，介绍提示缓存机制，给出省钱策略、操作规则，还提及委派工作及澄清误解，强调让缓存多命中、上下文少装无关内容。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。