「缓存命中」共找到 108 篇相关文章
更省 Token 的国产 Codex：ZCode，加上 DeepSeek 更夯！
介绍国产 Codex 平替 ZCode，它有 100 万用户，能接 DeepSeek，模型选择开放，缓存命中率高省 Token，插件生态完善，还介绍了安装、接入方法及多种实用功能。
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。
现代GPU体系结构Cache Operators行为研究
本文基于Compute Capability 8.9的L20 GPU进行实验，对NVIDIA PTX Cache Operators行为做进一步探究，验证了STG指令命中L1 Cache时执行Write Through等结论，还提出了遗留问题待解决。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
Harness 工程实践复盘：100% Cache 命中的 Agent 怎么设计？
本文是 ClackyAI 团队在 Harness 工程实践上的复盘。他们经两代失败后用 Ruby 重写第三代 OpenClacky，总结影响成本和效果的 7 个关键决策，如双 Cache 标记、System Prompt 字节冻结等，凸显 Harness 工程对 Agent 产品的重要性。
颤抖吧，Bug！OpenAI放出GPT-5「夜行神兽」，命中92%漏洞
OpenAI推出用GPT - 5找修安全漏洞的智能体Aardvark，处beta测试阶段。它开创‘防御者优先’范式，实战识别漏洞率达92%，能强化安全体系。其工作原理独特，与传统技术不同。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
最强编码模型Claude 4来了！Mcp集成无需Client，扩展提示缓存增强Agent长上下文保持能力
Anthropic 昨日推出新一代 Claude 模型，包括 Claude Opus 4 和 Claude Sonnet 4，在编码、高级推理和 AI Agent 方面树立新标准，有卓越编码能力、显著提升的 Agent 能力、全新 API 功能，Claude Code 也全面上市。
刚刚！Kimi Linear横空出世，全新注意力架构：1M长文本解码速度飙升6.3倍，KV缓存砍掉75%
月之暗面推出全新注意力架构Kimi Linear，有望成下一代Agent LLM基石技术。它解决了LLMs处理长序列任务的瓶颈，性能超传统机制，还开源了核心代码。Kimi Linear的KDA模块提升了表达和硬件效率，实验表现佳。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。