「KV缓存」共找到 124 篇相关文章
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。
最新W4A4KV4全量化框架，单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
华为升级行业Agent算法架构！MindScale自己写prompt和工作流，KV Cache减少5.7倍token
华为诺亚方舟实验室更新面向行业应用的算法包MindScale，融合算法创新与业务实践经验。它梳理了Agent时代技术挑战，给出技术论文与昇腾代码，应对工作流维护等难题，还提升训推效率、适配国产硬件。
最强编码模型Claude 4来了！Mcp集成无需Client，扩展提示缓存增强Agent长上下文保持能力
Anthropic 昨日推出新一代 Claude 模型，包括 Claude Opus 4 和 Claude Sonnet 4，在编码、高级推理和 AI Agent 方面树立新标准，有卓越编码能力、显著提升的 Agent 能力、全新 API 功能，Claude Code 也全面上市。
更省 Token 的国产 Codex：ZCode，加上 DeepSeek 更夯！
介绍国产 Codex 平替 ZCode，它有 100 万用户，能接 DeepSeek，模型选择开放，缓存命中率高省 Token，插件生态完善，还介绍了安装、接入方法及多种实用功能。
AI Agent的上下文工程：构建Manus的经验教训
上下文工程是AI智能体的“系统一”，决定其速度、恢复力与扩展边界。Manus通过试错与用户验证，给出可复用经验，如利用大模型“上下文学习”能力、关注KV - cache命中率等。
“烧掉94亿个OpenAI Token后，这些经验帮我们省了43%的成本！”
作者以月耗94亿OpenAI Token实战经历，分享优化成本经验，如选对模型、用提示词缓存、设账单预警等，降低成本43%，不过网友对此有不同看法。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。
来自 Manus 的一手分享：如何构建 AI Agent 的上下文工程？
Manus 公司联合创始人季逸超分享为 Manus 搭建上下文工程的经验。文章探讨构建 AI 智能体时的关键抉择，给出围绕 KV - Cache 设计、通过掩码约束行为等构建原则，助开发者少走弯路。