搜索：推理缓存优化

「推理缓存优化」共找到 3038 篇相关文章

谷歌技术报告披露大模型能耗：响应一次相当于微波炉叮一秒

大模型耗电舆论高，谷歌用数据还击。谷歌首席科学家称Gemini能耗低于预期，一年间能耗降至1/33，碳排放降至1/44。谷歌用更全面指标计算能耗，还从多方面优化使Gemini能耗降低。

AI 工具已嵌入 Uber 软件开发各阶段，智能体请求量增长 9.4 倍，但 AI 总支出自 4 月相对稳定。文章介绍其软件工厂思考，包括智能体会话层级、成本公式、指标测算及优化手段，还提及未来举措。

上海人工智能实验室等团队设计REST框架，在一个prompt里抛多个问题模拟多任务推理场景。测试发现即便顶级模型如DeepSeek - R1在“高压”下准确率也骤降，该框架能揭示模型差异，为评测提供新范式。

李飞飞团队开源核心技术Spark 2.0，可优化3D世界，让普通设备通过浏览器流畅访问交互。它有自动选细节、分批加载、优化存储三绝招，适配主流框架，有望改变与数字世界互动方式。

GAIR Live 029 期线上圆桌将直击 Agent Token 焦虑的底层技术逻辑，邀请技术负责人从架构重构与系统优化双重视角，拆解 Claw 类产品如何从烧钱走向省钱。探讨成本解剖、架构升维、系统优化等核心议题。

Andrej Karpathy发长推提出颠覆性观点，认为人们用错误框架理解AI，对比了动物智能与LLM智能的优化动力、根本差异等，强调优化目标决定智能形态，指出应按其机制对待AI。

基于Gemini 3的图像生成模型Nano Banana Pro昨日上线，支持2K/4K分辨率生成，排版和文字控制能力提升。它展现出复杂推理能力，能理解反光、推理指纹，但这或带来隐私危机。

现有目标检测方法有决策不透明和拒识能力不足问题。IDEA提出Rex - Thinker，引入“逻辑推理链”，构建可解释推理框架，经两阶段训练，在测评中准确率提升，可解释性强，有良好泛化能力。

在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。

这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来，企业重心转向推理。Anthropic超OpenAI成市场头号玩家，开源模型采用趋缓，企业换模型重性能，AI支出从训练转向推理。