「Infra」共找到 80 篇相关文章
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
Kimi K2.6背后的Agent Database：Agent-native 时代的数据 Infra 竞争，跟过去 30 年有何不同
TiDB Cloud 成 Kimi K2.6 供应商，为其 Agent 建站服务提供支持。Kimi K2.6 由 Agent 完成在线应用构建，与其他 AI 建站应用不同，它全托管且用户无需技术背景。该合作解决了成本和基础设施难题，展现了 Agent-native 时代数据 Infra 竞争的新特点。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
Token需求狂飙千倍，22亿热钱涌向这家AGI Infra头号玩家
在AI基础设施成风口的背景下，国内AGI Infra头部玩家无问芯穹获超7亿融资，其Token调用量爆发式增长。随着AI产业进入Agent阶段，传统架构难适配新需求，无问芯穹以中立定位成Token经济枢纽。
想要「版本」超车，Agent 需要怎样的「Environment」？
AI创企you.com完成1亿美元C轮融资并转型为AI Infra公司。伴随Agentic AI发展，人工智能重心转变，人们开始思考开发适用于现代智能应用的「Agent Environment」及相应AI Infra。
百度想明白了：旧供给到达极限了
当下企业应用AI时，Token成本高、推理效率低问题凸显。百度Create大会释放旧供给达极限信号，推出新全栈AI云，含Agent Infra和AI Infra两层架构，多个场景应用初显成效。
老思维做 Agent，没戏！云厂商们又想憋大招了
企业落地 Agent 经历快速演化，自主性 Agent 成新趋势。云厂商起初推 AI Infra，现转以 Agent 应用为中心开启 Agent Infra 赛道竞争，虽已布局但新开发范式未成型，未来需产业链协作迭代。
扣子要做 Agent 时代的 Infra，附开源版搭建全流程
扣子宣布开源 Coze Studio，后端用 Golang，前端用 React 和 TypeScript，基于微服务架构。借助火山引擎 ECS 可一键部署，还能更换自定义模型。官方表示开源是为顺应趋势、确保安全及获开发者反馈。
顶级视频模型半衰期只有 30 天，但生成式媒体 infra 公司的收入却在一年增长了 60 倍
文章聚焦生成式媒体 infra 公司 fal.ai，其借统一 API 和云端平台让开发者高效调用多模态模型。深入分析其成功因素，如早期押注生成式视频、优化算力和成本、构建生态等，还探讨用户使用模式与行业发展趋势。