「KV缓存机制」共找到 1001 篇相关文章
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
字节Seed实习生曝DeepSeek-V4技术缺陷：长文本检索陷入“周期性盲区”
本文报道字节跳动Seed团队联合多校研究者，发现DeepSeek-V4因分块KV缓存压缩设计存在长文本检索周期性盲区，深入拆解缺陷根源，曝光传统大模型长文本评测的盲区。
Manus首次揭秘：Agent的关键在上下文工程
Agent成大模型主战场，构建方法待探索。Manus发blog揭秘，认为成功的AI Agent依赖上下文工程。团队选此实现快速迭代，虽实践不易，但总结出围绕KV缓存设计等关键点，其经验影响Agent表现。
内存股集体大跌，原因竟是谷歌这篇一年前的论文
美国内存股集体暴跌，诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法，可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失，有望打乱市场对内存芯片增长预期。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
字节Seed实习生曝DeepSeek-V4技术缺陷：长文本检索陷入“周期性盲区”
字节Seed团队联合多校研究，发现DeepSeek-V4的分块KV缓存压缩架构存在长文本检索周期性盲区，不同Token位置检索准确率落差最高超40个百分点，揭露了传统长文本评测的盲区，DeepSeek已在V4.1改善但未完全消除缺陷。
深度解读 DeepSeek V4.1 Flash 全新架构，如何成为显存杀手
本文深度解读DeepSeek最新发布的V4.1 Flash大模型，详解其全新CED架构与第二代压缩稀疏注意力CSA2，揭秘其通过架构创新大幅压缩KV缓存、降低显存算力成本，在长上下文Agent场景实现性能反超的细节。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
让NCCL性能起飞的symmetric memory是啥黑科技？— part2
本文是NCCL 2.27新特性系列的第二部分，主要分析symmetric primitives的实现机制，介绍其提供的接口，如获得symmetric ptr、barrier、send、recv、llEpoch控制等接口，还解析了底层结构内存布局、各接口工作机制及LL Buffer划分机制等。