「缓存命中率」共找到 118 篇相关文章
深度解读《AI 智能体的上下文工程》：构建高效 Agent 的七个宝贵教训
作者解读 Manus 团队文章，结合自身理解总结出构建高效 Agent 的 7 个关键点，如依赖上下文工程、提升 Prompt 缓存命中率等，还给出总结与核心启示，对 Agent 开发有借鉴意义。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
ACL 2026 | LCA：DeepSeek 长文本加速神器，90% KV 缓存缩减 + 2.5 倍推理提速
琶洲实验室等团队提出潜在空间压缩注意力（LCA），入选 ACL 2026。LCA 突破传统注意力机制瓶颈，适配不同大模型，降低硬件门槛与成本，提升推理效率。论文与代码已开源。
不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍
英伟达联合多机构推出TTT - E2E方法，在长文本处理上提速显著且性能不打折。它基于标准Transformer，将长文本建模转为「持续学习」任务，核心是上下文压缩，避免额外缓存，代码和论文已开源。
Couchbase与爱奇艺的十年之约：Magma引擎如何破解TB级缓存性能与成本难题？
在AI驱动应用革新浪潮下，海量数据处理的性能与成本平衡成挑战。Couchbase技术直播中，爱奇艺专家分享实践经验，揭秘其如何破解性能、扩展性与成本难题，还介绍了Capella AI Services等。
谷歌Gemini 4全面开火：API限时半价、缓存直降95%，自建仿真教会机器人连中7球
本文报道谷歌发布新一代旗舰大模型Gemini 4 Argon，详解其性能升级、定价优惠、多领域落地成果与安全优化，对比了它与OpenAI、Anthropic旗舰模型的评测成绩，展示大模型落地真实场景的最新进展。
刚刚，谷歌Gemini 4全面开火：API限时半价、缓存直降95%，自建仿真教会机器人连中7球
本文报道谷歌发布新一代旗舰大模型Gemini 4 Argon，该模型升级百万token上下文窗口，多项专业评测成绩领先，推出限时降价促销，落地工程、科研、机器人等多场景，同时披露大模型新安全风险与应对方案
AI智能体的上下文工程：Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得，包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容，还指出要保留错误信息、避免小样本带偏等。
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。