「Triton推理服务器」共找到 2193 篇相关文章
阿里AI 重磅第4发:电影级MOE 视频模型Wan2.2正式开源!
阿里通义团队开源电影级视频生成模型Wan2.2,将光影、色彩、镜头语言装进模型,支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型,推理省计算资源,性能超主流模型,获国外网友盛赞。
昇腾910B大模型实测:开源框架能不能打?真相全放这了
文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。
学习 MCP 最好的时机是 7 个月前,其次是现在
文章介绍 MCP(Model Context Protocol),它是实现 LLM 与外部能力高效互联的协议,像 USB - C 接口。其采用客户端 - 服务器架构,可让 LLM 突破能力边界。与 Function Calling 相比,MCP 成本低,能让业务团队参与构建智能体。
不再“纸上谈兵”:大模型能力如何转化为实际业务价值
InfoQ《极客有约》X AICon 直播栏目邀华为云郑岩、蚂蚁集团杨浩、明略科技吴昊宇,探讨大模型驱动业务提效。分享场景探索、技术落地经验,如选模型考量因素、AI Agent 创新等,还提及 MCP 应用与未来展望。
Next.js 真有那么好用吗?Netlify 谈他们遇到的六个现实问题
Netlify 部署大量 Next.js 网站时遇到诸多挑战。如无适配器支持、无生产级无服务器部署文档、存在未文档化行为、未基于开放 Web 标准、缺乏路线图可见性和发布可预测性等,并提出应对办法与展望。
本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。
两个16岁的高中生,共享了自己的显卡和API,想让全校同学都免费用上AI。
本文讲述了两位16岁高中生张睿修和冯子上的故事。他们成立炼丹社,将自己的显卡、服务器等资源共享,搭建FreeAPI项目,让全校同学免费用AI。两人性格不同但都爱创造,还在帮学校做校园网站。
OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?
OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。
AI Labs 都在用,ClickHouse 能成为 AI 日志的实时分析引擎吗?
过去18个月,ClickHouse发展迅猛,2025年末ARR达1.6亿美元,付费云客户超3000。它原是Yandex项目,适合LLM推理日志分析。通过收购拓展为数据平台,进入多市场竞争。文章探讨其增长原因、产品、市场及优劣势等。
DeepSeek刚解决了AI视觉最后一块拼图:极低成本+精准视觉定位,AI接管电脑已无死角
DeepSeek放出新论文《Thinking with Visual Primitives》,解决多模态大模型中长期被忽视的“说不清位置”问题。提出将空间标记作为“最小思维单元”插入推理链条的方案,在多个任务上达前沿水平,但也存在精度、触发机制和泛化能力等局限。