搜索：推理缓存优化

「推理缓存优化」共找到 3050 篇相关文章

外卖公司也能搞AI？

昨天凌晨美团悄悄开源560B参数的MoE大模型LongCat-Flash-Chat，引发国外网友疑惑。该模型推理速度超100 tokens/秒，基准测试表现出色，多项设计解决实际问题，贴合美团业务需求。

OpenAI研究人员喂给GPT - 5 Pro一篇凸优化问题论文，它读完给出更精确边界及证明。虽成果被人类论文反超，但思路不同，显示其有独立探索能力，OpenAI总裁称这是“生命迹象”。

字节开源 Coze Studio 和 Coze Loop，此时 Dify 等已在 Agent 基础设施赛道站稳。Coze Studio 提供 AI Agent 开发环境，Coze Loop 负责优化平台，技术栈扎实。开源版功能有删减，字节野心是抢占生态范式。

上海人工智能实验室等团队设计REST框架，在一个prompt里抛多问题模拟复杂推理场景。结果显示，DeepSeek - R1等模型高压下性能大幅缩水，REST能拉开不同模型差距，还揭示评测方法局限。

Avraham Poupko 在 OOP 大会分享软件架构师用 AI 经验，认为软件架构师不会被 AI 取代，AI 适合探索权衡、提炼语言，但缺乏情境推理和情感智能，人类在这方面更有优势。

第十届 CCPC 举行，字节 Seed 携 Seed - Thinking 参赛，仅做出一题，DeepSeek R1 挂零。不同模型架构在比赛中差异不大，暴露出大模型做算法题短板，推理模式模型表现更好。

文章指出速度不是软件交付目标，提升效率是为获反馈。片面追求速度不可取，如微软 Word 因功能堆砌失市场。引入人工智能只为提速不可信，应重视反馈，优化交付流程，借助 AI 打造更有格局产品。

智谱发布专为龙虾场景深度优化的基座模型GLM - 5 - Turbo，从底层训练重塑，增强四项核心能力。发布评测基准ZClawBench，模型表现领先。还推出龙虾套餐和安全管理体系，助力企业实现算力自由与安全管控。

Qoder 发布首个自进化智能体 Quest，它能自主完成重构自身长程任务执行逻辑等任务。Quest 从上下文管理、工具选择、Agent Loop 三方面优化架构，还具备自主进化能力，正探索自主编程新可能。

SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。