「推理成本」共找到 3261 篇相关文章
ICML 2026 | 拒绝盲目猜token，阿里x浙大将投机解码带入弹性预算时代
随着大模型参数规模扩大，推理成本成核心瓶颈。投机解码在高并发下有问题，阿里与浙大学者提出 ECHO，将投机树构造建模为预算调度问题，通过稀疏门控和弹性预算调度提升系统收益。
天下苦SaaS已久，企业级AI得靠「结果」说话
SaaS在AI时代问题凸显，推理成本高、交付质量不稳定。在此背景下，百融云创推出结果云Results Cloud，以RaaS模式提供全栈解决方案，解决AI落地难题，还呼吁共建智能体生态。
谷歌AI的“心脏”长什么样？读懂TPU就够了
文章介绍了谷歌TPU的发展历程，从2015年为解决AI计算效率瓶颈自研，发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线，强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。
中国AI芯片迎「华为时刻」
国内AI芯片市场正经历变革，“去英伟达化”成热词。科技巨头推动自研，9月国产芯片捷报频传，性能追赶超越英伟达。这既因地缘政治致供应链风险，也是AI从训练到推理转变下的必然选择。
国产模型新盛况！王座易主：Kimi K2 Thinking开源超闭源
月之暗面开源 Kimi K2 Thinking 模型，多方面性能超 GPT - 5 等闭源模型。它擅长多轮调用工具和持续思考，在多项基准测试达 SOTA 水平，成本低且授权宽松，引发全网讨论。
唯快不破：上海AI Lab 82页综述带你感受LLM高效架构的魅力
大语言模型性能提升但成本高，制约落地应用。上海AI Lab联合多家机构总结440余篇论文，形成82页综述，将LLM高效架构分为7类，探讨最新进展，还涉及线性化技术、硬件实现等内容。
GPT-5.4 发布，OpenClaw 要被替代？OpenAI 新模型会自己用电脑了，还顺手把编程能力拉满
今天，OpenAI 发布 GPT-5.4，将推理、编程和计算机使用能力整合，具备原生电脑操作能力，提升了工具使用效率。它成本降低、幻觉减少、编程能力更强，但 API 价格较高。其或与 OpenClaw 抢夺入口。
Claude Code + GLM-4.5，最强性价比编程组合教程首发
7月国产开源大模型竞争激烈，智谱发布的GLM - 4.5刷新开源大模型编程和agent能力。它成本低、速度快，还能与Claude Code配合。文章介绍该模型特点，分享二者使用教程及原型设计、网站开发等实测案例。
半量工具，双倍效能：ARPO革新大模型强化学习
大语言模型在多轮工具调用场景有挑战，传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO，通过量化token熵分布变化设计自适应探索机制，降低工具调用成本且提升多轮推理性能。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。