开源动态8
LMCache:解决AI token重复计算难题
AI工程化
AI 摘要
斯坦福:AI Agent每次调用62%内容重复计算。LMCache:将缓存管理独立成进程,用CacheBlend复用缓存,适配多引擎。当下AI团队不应只关注降token单价,更要避免重复计算。
阅读原文 · AI工程化
大部分token根本不该重复计算,不止于KVCache
斯坦福研究显示,AI Agent每次调用62%内容重复,现有前缀缓存虽有优化但天花板低,阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立,解决性能问题,其CacheBlend技术复用缓存,适配多引擎和存储后端。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
SemaPLC:让AI编程在PLC开发可交付
上海交通大学联合Sema研究团队推出SemaPLC,将AI Agent与PLC工程工具链连接,让自然语言需求转化为可编译、验证、仿真的控制程序。它是面向全流程的智能工作台,实验效果优于业界方案。
量子位
开源动态8
Headlong:让AI Agent成为主动思考的“同事”
Laude Institute的AI Agent Audel在无指令下自动修复bug,背后是开源的AI Agent微框架Headlong。它与其他Agent不同,其Agent永远不睡觉,核心由9800行Bash脚本构成,安装简单,提出AI主体性问题。
开源星探
推荐文章7
Vasuman:企业 AI 采用率指标是个笑话
一家公司买企业级 AI 授权全员铺开,虽 88% 员工采用,但交付速度未变,仅 10% 的人烧掉 90% 的 Token。文章指出企业 AI 采用率指标荒诞,分析企业 AI 应用现状,还给出落地推进建议。
特工宇宙
新闻资讯8
赛博义父Tibo:OpenAI产品融合与发展新动向
赛博义父Tibo在播客中透露诸多OpenAI内幕,如ChatGPT和Codex将融合成个人化AGI,下一代Agent核心是机制“消失”等,还回顾谷歌经历,分享OpenAI文化、产品发展等观点。
量子位