「缓存命中」共找到 118 篇相关文章
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
狼人杀AI对决：手把手教你打造高分Agent
作者参加AI狼人杀比赛，分享构建高分Agent全过程。介绍比赛规则、题目挑战及解题思路，阐述Agent基础能力，如缓存、并发集成等，还提及模型调优、战术策略，最后开源代码，分享心得体会。
罗福莉剧透小米MiMo v3架构：模型还没影，论文全说了
小米罗福莉提前剧透MiMo v3核心新架构HySparse2，该架构针对Agent多轮任务中长上下文输入处理成本高的痛点优化，相关论文已公开，模型尚未正式发布，文中披露了架构设计与实验效果数据。
重要！LiteLLM 供应链攻击：你的 API 密钥可能已经泄露
3月24日，LiteLLM的PyPI发布页面出现恶意版本，1.82.7和1.82.8被嵌入恶意代码。恶意代码会收集敏感文件、外传信息、进行横向移动。文章还给出检查、处理方法，此事件给开发者提了醒。
还需付费卸载龙虾？这只龙虾能直接「杀死」OpenClaw
OpenClaw曾引发安装热潮，如今因安全风险引发卸载潮。国家相关部门发布风险提示，网上出现卸载服务。而GenericAgent既能装也能卸OpenClaw，还能自我卸载，展现出硬核技术。
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
上海交通大学EPIC Lab团队提出免训练推理缓存机制dLLM - Cache，复用特征降低计算量。它即插即用，通用于主流dLLM架构，在多个基准测试中实现数倍推理加速，且不降低生成质量。
智能体请求暴增 9.4 倍，token 账单却没涨：Uber 公开 AI 软件工厂省钱方法
Uber AI已嵌入软件开发全流程，超70%代码合并请求由智能体生成，半年内智能体请求暴增9.4倍，通过多项优化实现AI总支出稳定，本文公开其整套AI降本方法论。
4.4k星！给Agent接上「本地免费搜索爬虫」，内置11个skill执行数据搜索、爬取、自动研究
文章推荐开源本地搜索工具wigolo，它是专门给Agent使用的本地网络能力层，可解决本地运行Agent查找资料时使用API麻烦费钱的问题。它功能多样，有搜索、缓存等工具，自带11个Skill。
别再无脑开高推理！Opus 5高配会擅自重构代码乱加戏
有人用FrontierCode编程基准测试Opus 5推理档位，发现性能顶峰在medium档，高档位推理预算多余，会让模型反复校验、偏离需求，在代码场景还会擅自重构代码。Anthropic也建议调低推理档位。
Claude Code一周份额，一天就烧完一半？有人逆向工程发现了7个bug
Claude Code在快速更新中问题频发，如思考深度大幅下降，还存在7个叠加的bug，浪费用户token配额。开发者给出应对建议，新版本增加账单透明度和缓存过期提醒，该工具正面临信任危机。