「KV 缓存落盘」共找到 137 篇相关文章
4.4k星！给Agent接上「本地免费搜索爬虫」，内置11个skill执行数据搜索、爬取、自动研究
文章推荐开源本地搜索工具wigolo，它是专门给Agent使用的本地网络能力层，可解决本地运行Agent查找资料时使用API麻烦费钱的问题。它功能多样，有搜索、缓存等工具，自带11个Skill。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
Claude Code一周份额，一天就烧完一半？有人逆向工程发现了7个bug
Claude Code在快速更新中问题频发，如思考深度大幅下降，还存在7个叠加的bug，浪费用户token配额。开发者给出应对建议，新版本增加账单透明度和缓存过期提醒，该工具正面临信任危机。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
最强编码模型 Fable 5.1 发布：性能翻倍、Agent 成本降 45%，Anthropic 把顶级模型送进真实世界
当地时间9月1日，Anthropic发布Claude Fable 5.1和Claude Mythos 5.1，新模型在多方面能力提升，Agent工作负载成本最高降45%，此次发布还涉及价格、数据留存等多方面内容，争夺高价值任务市场。
大佬深度解析：Coding Agent的底层运行逻辑是什么？
本文由AI领域知名学者Sebastian Raschka撰写，探讨编码智能体及其编排的设计、工作原理和组件协同。指出智能体周边支撑系统重要性不亚于模型本身，详细阐述编码智能体六大核心构建模块。
高通Nuvia架构介绍
本文详细介绍高通Nuvia架构。Nuvia由经验丰富芯片设计师创立，后被高通收购，旨在强化自研技术、拓展市场。Oryon CPU架构是其成果，虽面临法律争议，但设计独特，多方面表现出色，还具备安全功能和较高性能。
AliSQL 向量技术解析（一）：存储格式与算法实现
随着AI与大模型应用普及，向量存储与检索需求大增。AliSQL基于MySQL 8.0扩展向量处理能力，本文聚焦其向量索引，介绍存储格式、算法实现，如HNSW算法及插入、搜索等操作，还提及辅助表设计与DDL原子性。
多模态“卷王”阶跃星辰：如何利用 JuiceFS 打造高效经济的大模型存储平台
有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT：近乎无损 超越KIVI，内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高，限制模型批量处理能力。论文提出OTT方法，动态追踪异常令牌单独高精度保存，其余压缩。实验显示，它准确性高、效率好，不过在极短文本等场景有局限。