「缓存命中率」共找到 108 篇相关文章
AI Agent的上下文工程：构建Manus的经验教训
上下文工程是AI智能体的“系统一”，决定其速度、恢复力与扩展边界。Manus通过试错与用户验证，给出可复用经验，如利用大模型“上下文学习”能力、关注KV - cache命中率等。
Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造
Mamba核心作者Tri Dao团队提出GTA和GLA两种专为推理定制的注意力机制，在减少KV缓存用量、保持模型质量的同时，显著提升解码速度，优化长上下文推理能力。
“烧掉94亿个OpenAI Token后，这些经验帮我们省了43%的成本！”
作者以月耗94亿OpenAI Token实战经历，分享优化成本经验，如选对模型、用提示词缓存、设账单预警等，降低成本43%，不过网友对此有不同看法。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施，可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分，自研Infire推理引擎，还推出Unweight模型压缩系统，分享提示词缓存优化方案。
vLLM PIECEWISE CUDA Graph 技术学习笔记
文章围绕vLLM PIECEWISE CUDA Graph技术展开，介绍了vLLM Compilation架构、分片编译技术、算子融合、集合通信融合、编译缓存、装饰器系统等内容，PIECEWISE技术让vLLM在prefill阶段性能提升。
英伟达开源上瘾了！推出了一款实时语音智能体的终极 ASR：24ms 极速锁定。
英伟达开源了Nemotron Speech ASR模型，它是低延迟、实时流式语音识别模型，单句转录锁定仅需24毫秒。其核心能力包括缓存感知、运行效率高、动态运行灵活，还被放进完整语音智能体方案。
谷歌公开全新极限压缩算法：LLM提速8倍、内存占用狂降6倍，精度零损失
谷歌推出全新量化算法 TurboQuant，瞄准大模型键值缓存吃内存、高维向量搜索算力瓶颈痛点，能砍内存、提速度且精度零损失。分 PolarQuant 和 QJL 两步，实验数据表现优异，将改变搜索格局。
一个任务50次调用，成本狂砍90%？Manus首次公开上下文工程秘诀，一堆反复重写换来的教训
Manus项目团队分享上下文工程秘诀。他们押注于此，使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则，助构建AI Agent者少走弯路。
Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。