「分层缓存」共找到 265 篇相关文章
Gemini 3.1 Flash-Lite Preview发布：Google完成AI模型分层布局
Google发布Gemini 3.1 Flash-Lite Preview，针对企业和开发者场景优化，速度快，有‘思考级别’功能。基准测试表现不错，价格比Claude 4.5 Haiku便宜，但开发者社区反应复杂，面临市场定位问题。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
深度拆解 Hermes Agent 的记忆系统：它如何修正 OpenClaw 的误区
文章深度拆解 Hermes Agent 记忆系统，介绍其四层记忆系统，包括提示词记忆、SQLite 历史会话存档、智能体技能管理和用户建模。与 OpenClaw 对比，Hermes 更关注缓存效率，遵循冷热分离、缓存优先等原则。
超棒！打造顶级智能体Claude Code的经验教训
Claude Code工程师Thariq文章受开发者盛赞，揭示打造智能体经验。提示词缓存是关键，要合理排列顺序；管理动态上下文需避免破坏缓存；为智能体选适配工具，随模型进化调整行动边界。
Claude Fable 5.1 发布：缓存读降价 75%，但实际更贵了
Anthropic 发布 Claude Fable 5.1 和 Mythos 5.1。Fable 5.1 性能全面上涨，但出现价格悖论，缓存读降价 75% 实际更贵。在 Agent 类任务与 Opus 5 基本持平，推出 EFS 应对数据留存争议，还有多项科研演示。
Claude Code 省 Token 指南：慎用 1M 上下文，不开新会话或者总是开新会话都不对
文章聚焦Claude Code省Token问题，分析配额消耗快的原因，介绍提示缓存机制，给出省钱策略、操作规则，还提及委派工作及澄清误解，强调让缓存多命中、上下文少装无关内容。
CMAME | 西安交通大学海春龙、梅立泉等：基于分层神经网络的在线多保真度数据融合
在工业应用中，高保真数据获取成本高，低保真数据准确性不足。本文提出基于分层神经网络的在线多保真度数据融合方法（OMA - HNN），含MA - HNN和在线渐进采样框架，经测试验证了其有效性和实用性。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
ACL 2026 | LCA：DeepSeek 长文本加速神器，90% KV 缓存缩减 + 2.5 倍推理提速
琶洲实验室等团队提出潜在空间压缩注意力（LCA），入选 ACL 2026。LCA 突破传统注意力机制瓶颈，适配不同大模型，降低硬件门槛与成本，提升推理效率。论文与代码已开源。
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。