「KV 缓存缩减」共找到 146 篇相关文章
谷歌一篇论文引爆存储芯片崩盘！AI内存需求暴降6倍，推理狂飙8倍
谷歌发布TurboQuant算法，将缓存压到3 - bit，内存占用降为1/6，推理速度提升8倍。该算法冲击存储巨头，引发股价下跌，虽目前未改变采购量，但改写推理成本，且从论文到落地的路在缩短。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
Agnes AI 实测：AI 编程真正的瓶颈，99%的人想错了
本文实测Agnes AI，指出AI编程瓶颈在于缓存命中率，而非模型智商。介绍其产品线、评测成绩与价格优势，还分享客户端体验，包括亮点、回滚事故及日志结论，最后点明智能免费后验证更稀缺。
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息为应对AI训练存储挑战，引入JuiceFS构建统一存储架构，结合BeeGFS作缓存。该架构提升I/O性能与资源调度效率，还通过缓存优化、数据治理等措施，支撑多业务并发，为AI基建奠基。
狗子被人类驯化后，脑子萎缩了一半
法国团队研究发现，狗被驯化后大脑容量缩减。35000 - 15000 年前犬类脑容量未缩减，5000 - 4500 年前脑容量比同期狼小 46%，现代家犬比狼小 32%。这或与农业革命人类需求有关，且不意味狗变笨。
冗长响应缩减80%，DeepSeek GRPO获得颠覆性改进，微软GFPO问世
微软研究员曝出颠覆性强化学习算法 GFPO，能削减推理多余 token 长度达 80%。它基于 DeepSeek 的 GRPO，可同时优化多响应属性，团队还提出自适应难度变体，实验显示 GFPO 在多方面表现出色。
Rx.NET 7.0 拆分 Windows UI 支持，大幅缩减应用部署体积
Rx.NET 7.0 发布，重点为缩小 Windows 应用部署体积。它将 WPF 等集成功能从核心包拆分，解决自包含应用框架依赖问题。虽有破坏性变更，但维护团队保证了一定兼容性。后续有新开发计划。
最新W4A4KV4全量化框架，单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
华为升级行业Agent算法架构！MindScale自己写prompt和工作流，KV Cache减少5.7倍token
华为诺亚方舟实验室更新面向行业应用的算法包MindScale，融合算法创新与业务实践经验。它梳理了Agent时代技术挑战，给出技术论文与昇腾代码，应对工作流维护等难题，还提升训推效率、适配国产硬件。