「KV缓存」共找到 124 篇相关文章
Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍
谷歌推出全新底层架构Mixture-of-Recursions（MoR），推理速度提高2倍、KV内存减半，首次在单一框架实现多任务处理与动态分配计算资源，研究人员通过实验验证其性能超Transformer。
北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%
随着模型规模增长、新应用兴起，大模型基础设施面临管理「张量状态」挑战。北大、阶跃星辰与北邮联合提出 TensorCast，解耦张量状态，复用管理能力，在多场景测试中表现出色，为大模型基建提供新范式。
Figma 自研了 Redis 代理，实现六个 9 可用性
Figma发布自研Redis代理服务FigCache详细实践，替换旧缓存栈。自2025年下半年上线，实现六个9可用性。它基于ResPC构建，分离前后端，配置灵活，处理Redis Cluster问题，迁移策略可回退。
Anthropic封杀48小时，逼出OpenClaw最强反击！龙虾首次会生视频了
Anthropic封杀OpenClaw免费接口，OpenClaw推出2026.4.5王炸更新，支持视频生成和‘睡眠记忆’系统，还优化提示词缓存。虽与Anthropic有波折，也反映开源项目依赖大厂模型的困境。
即将开源 | 阿里云Tair KVCache Manager：企业级全局 KVCache 管理服务的架构设计与实现
阿里云Tair KVCache团队联合多团队将开源Tair KVCache Manager，介绍其架构设计与实现。该服务应对Agentic AI下KVCache存储挑战，解决传统模式难题，具备企业级管理能力，后续还会完善多方面功能。
狼人杀AI对决：手把手教你打造高分Agent
作者参加AI狼人杀比赛，分享构建高分Agent全过程。介绍比赛规则、题目挑战及解题思路，阐述Agent基础能力，如缓存、并发集成等，还提及模型调优、战术策略，最后开源代码，分享心得体会。
重要！LiteLLM 供应链攻击：你的 API 密钥可能已经泄露
3月24日，LiteLLM的PyPI发布页面出现恶意版本，1.82.7和1.82.8被嵌入恶意代码。恶意代码会收集敏感文件、外传信息、进行横向移动。文章还给出检查、处理方法，此事件给开发者提了醒。
还需付费卸载龙虾？这只龙虾能直接「杀死」OpenClaw
OpenClaw曾引发安装热潮，如今因安全风险引发卸载潮。国家相关部门发布风险提示，网上出现卸载服务。而GenericAgent既能装也能卸OpenClaw，还能自我卸载，展现出硬核技术。
4.4k星！给Agent接上「本地免费搜索爬虫」，内置11个skill执行数据搜索、爬取、自动研究
文章推荐开源本地搜索工具wigolo，它是专门给Agent使用的本地网络能力层，可解决本地运行Agent查找资料时使用API麻烦费钱的问题。它功能多样，有搜索、缓存等工具，自带11个Skill。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。