「推理服务基础设施」共找到 2949 篇相关文章
智谱终于发布GLM-4.5技术报告,从预训练到后训练,细节大公开
上个月底智谱开源 GLM-4.5 及轻量版,成绩亮眼引热议。现其技术报告发布,详述预训练到后训练细节,还介绍了开源 RL 框架 slime,展示模型架构、训练阶段等,评估了在多任务上的表现。
阿里AI 重磅第4发:电影级MOE 视频模型Wan2.2正式开源!
阿里通义团队开源电影级视频生成模型Wan2.2,将光影、色彩、镜头语言装进模型,支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型,推理省计算资源,性能超主流模型,获国外网友盛赞。
华为系EDA,落子上海!
华为哈勃投资的九同方从武汉迁至上海,其作为专注IC设计服务的EDA公司,熬过十年冷板凳,产品达国际领先。华为借此建立自主工具链,九同方可对接长三角资源,当下国产EDA企业受关注且并购频发。
阿里云客服Agent业务提效实践:灵活可控的落地方法论
阿里云算法专家姜剑介绍了“阿里云服务领域 Agent 平台”及业务提效方法论。阐述 Agent 技术本质、模式,分析其给客服领域带来的价值,指出阿里云客服痛点,提出解决设计问题的方法,展示平台设计与落地成果。
昇腾910B大模型实测:开源框架能不能打?真相全放这了
文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。
不再“纸上谈兵”:大模型能力如何转化为实际业务价值
InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。
比起让大模型写 100 万字的小说,AI 大牛们更想用 AI 拿诺贝尔奖
OpenAI前CPO Kevin Weil创业,新公司定位是“为AI模型收集科学数据”的平台,估值达7.5亿美元。AI4S赛道成为硅谷离职AI高管热门去向,正从概念叙事进入基础设施建设阶段,包括数据、模型、应用层。
OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?
OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。
刚刚,全场景L4全球第一股诞生!市值百亿
驭势科技今日登陆港股,成全场景L4自动驾驶全球第一股。它致力于为全球交付‘AI司机’,公开发售获6777.29倍超额认购。其U - Drive®系统能力强,还将推动AI司机订购模式成熟。