「KV缓存机制」共找到 970 篇相关文章
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制：仅5%注意力头负责多模态视觉理解
本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。
Claude 5.1双旗舰突然发布：跑分屠榜，反蒸馏，科研能力大幅跃升，缓存费用暴降75%
Anthropic发布Claude Fable 5.1和Claude Mythos 5.1两款大模型，性能登顶且解决开发者关注问题。缓存读取费用降75%，跑分屠榜，科研能力强，安全系统重构，合作实测效果好，盲测风格与GPT - 5.6 Sol不同。
AI 唱得比顶流歌手还精准！周亚辉盛赞百倍跃进，高晓松直言：AI 和我不是一个创作机制
近日昆仑天工发布 Mureka V8 音乐大模型，昆仑天工董事长周亚辉称其标志 AI 音乐达大规模工业化应用成熟度。高晓松认为 AI 与自己创作机制不同，但也肯定其能力，当前 AI 音乐正重塑产业权益结构。
别再只关注KV Cache了! LLM稀疏性新洞察：为何模型越深越稀疏？UNCOMP从矩阵熵给出答案
团队论文UNCOMP获EMNLP 2025主会接收，它提出高效推理框架，从截断矩阵熵视角解释LLM深层稀疏现象。还能识别关键结构、找到最优压缩策略，设计的UNCOMP框架优化KV Cache，实验效果佳。
AI智能体的上下文工程：Manus的构建心得
季逸超在文章中分享了 Manus 构建 AI 智能代理的心得，包括围绕 KV 缓存设计、使用掩码管理工具、将文件系统作上下文等内容，还指出要保留错误信息、避免小样本带偏等。
一个任务50次调用，成本狂砍90%？Manus首次公开上下文工程秘诀，一堆反复重写换来的教训
Manus项目团队分享上下文工程秘诀。他们押注于此，使产品发布改进更快。还阐述围绕KV缓存设计、掩码非移除工具、用文件系统作上下文等原则，助构建AI Agent者少走弯路。
超长 Agent 任务如何不崩盘：Claude Code 上下文管理机制深度拆解。
文章深度拆解Claude Code上下文管理机制，包括七类上下文、预算与告警、加载、卸载机制等。指出其是分层缓存与多级预算管理系统，还为长任务Agent开发者提供了管理启示。
内存减6倍、精度0损失，推理提速8倍！谷歌新技术震撼了AI圈
Google Research团队推出TurboQuant技术，能将KV缓存6倍压缩、无精度损失，推理速度提升8倍，解决内存瓶颈问题，为大语言模型应用扫清障碍，引发业界关注，还致存储芯片巨头股价大跌。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。