「推理服务基础设施」共找到 2930 篇相关文章
马斯克：AI巨浪已至，吸干全球救命钱！
马斯克警告AI激流已至，过去一年全球AI推理Token用量暴增25倍。ARK首席未来学家指出AI基础设施投资回报高，引发资本转移与挤出效应，传统企业融资难、人才流失，将被AI“吸干”资本。
AI芯片独角兽一年估值翻番！放话“三年超英伟达”，最新融资53亿超预期
AI芯片初创企业Groq获7.5亿美元融资，超6亿预期，现估值69亿美元，一年翻番。其由谷歌TPU原班人马组建，创始人称构建高速低成本AI推理基础设施，还放话三年超英伟达。
Agent规模化落地前夜，AI Infra的难题全都暴露了
随着AI Agent大规模落地，中国云服务市场结构转变，AI基础设施角色改变。InfoQ联合腾讯云发起「InfraTalk」直播，探讨AI Infra能力框架等。还解析其核心能力、难题、价值闭环标准及未来竞争焦点。
深入剖析AI公司正在面临的：「囚徒困境」
文章指出AI模型训练成本虽下降，但运营成本尤其是推理费用飙升，使AI公司陷入两难。用户只青睐最强模型，且模型资源消耗远超预期，订阅模式难以为继，还给出了避免亏损的三条出路。
不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。
吴恩达关注的Ling-1T背后，蚂蚁Ling 2.0技术报告解密万亿模型开源配方
AI导师吴恩达关注蚂蚁开源模型Ling-1T，其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方，从架构、预训练、后训练对齐和基础设施四个层面构建推理模型，还分享失败教训，提供开源SOP。
AI改造出行体验：滴滴的试验能否开启行业范式转变？
滴滴近日面向公众内测上线出行AI助手小滴，颠覆传统打车模式。它能精准理解需求，提供个性化方案，还可进行时空推理和订单规划。滴滴用工程打法攻克难题，还上线MCP服务助开发者定制助手。
供需失衡的窗口期里，商汤大装置把国产算力做成了正毛利生意
WAIC期间，商汤大装置举办AI基础设施论坛，展示国产算力成绩单，将国产芯片业务毛利率做到正数。其通过异构混合推理等操作方法论，提升芯片利用率，还在多领域合作，虽红利或收窄，但方法论有长期价值。
诺奖、金牌与SOTA：谷歌2025八大领域核心突破年终回顾
2025年是AI成为社会基础能源的关键转折点，谷歌通过全栈自研与生态标准双轮驱动构建智能基础设施帝国。从模型推理到科学发现领域均有突破，如Gemini 3系列、Ironwood芯片等，还在各领域有诸多应用与探索。
Axiom Math 对谈 SGLang：模型的下一步是可验证，结果层才是真正的护城河
在AGI Playground 2026圆桌论坛，Axiom Math联合创始人等探讨AI核心问题。提到AI进入生产环境，可验证或成瓶颈，还从长任务智能体、推理基建等多方面深入交流，如模型验证、基建优化等。