推理优化与部署」共找到 3538 篇相关文章

开源动态7

本文关注vllm V1中管控模型分布式推理的Executor部分,介绍其类型、Executor-Workers架构及数据传输机制,对比V0架构优势,以单机多卡的MultiprocExecutor为例展开讲解,还提及不同数据量的传输方式及相关代码。

猛猿
产品应用8

从1000通到1.5万通,百融智能的「硅基客服」真正开始「上岗」

今年7月,一家头部物流企业和大型综合类头部券商上线百融智能的AI客服,业务量和部署规模增长显著。百融智能正战略升级,以新一代AICC智能联络技术向多行业拓展,其创始人张韶峰分享了相关思考与技术优势。

机器之心
算法论文8

一个场景吃掉700MB显存!3DGS存储焦虑怎么解?这篇综述划了五个方向

过去三年,3D Gaussian Splatting(3DGS)成实时3D场景重建与新视角合成“默认答案”,但场景拓展后有显存、带宽和功耗限制。香港科大等联合发布综述,从底层数据流组织技术版图,给出优化建议和未来方向。

量子位
新闻资讯7

OpenAI博通联手发芯片,黄仁勋还能保持松弛吗?

OpenAI与博通联手发布自研推理芯片Jalapeño,英伟达虽业绩亮眼但正被围攻。博通的ASIC芯片及通信优势、中立身份受青睐,OpenAI和Anthropic也正脱离英伟达管控,博通靠“芯片自主权外包”模式上位。

芯师爷
新闻资讯7

伏曦量子完成天使及天使+轮融资,五源资本、启盈同创等跟投

近日,伏曦量子宣布完成天使及天使+轮融资,由全球动力电池行业龙头领投,多家机构跟投。该公司由赵琦博士创立,定位是帮助产业客户理解和使用量子算力,其核心价值是优化算法,让问题可在近期硬件测试。

DeepTech深科技
产品应用8

一站式 AI 短剧创作神器

Toonflow 是 HBAI-Ltd 开发并开源的一站式 AI 短剧创作工具,可将小说或剧本快速转化为动画短剧,集成多种功能,0 门槛全流程 AI 化,提升创作效率 10 倍+,支持多系统,兼顾易用性、扩展性和本地化部署需求。

GitHubStore
开源动态7

AI Labs 都在用,ClickHouse 能成为 AI 日志的实时分析引擎吗?

过去18个月,ClickHouse发展迅猛,2025年末ARR达1.6亿美元,付费云客户超3000。它原是Yandex项目,适合LLM推理日志分析。通过收购拓展为数据平台,进入多市场竞争。文章探讨其增长原因、产品、市场及优劣势等。

海外独角兽
开源动态8

OpenAI携手五巨头开源革命性超算协议:一举解决超大集群LLM训练不稳定和网络性能难题

OpenAI联合英伟达等五巨头推出超算开放网络协议MRC并正式向行业开放。MRC目标是性能可预期,有多平面网络、自适应包喷射、SRv6源路由三大核心机制,已在OpenAI多台超级计算机上部署

AI寒武纪
算法论文8

DeepSeek刚解决了AI视觉最后一块拼图:极低成本+精准视觉定位,AI接管电脑已无死角

DeepSeek放出新论文《Thinking with Visual Primitives》,解决多模态大模型中长期被忽视的“说不清位置”问题。提出将空间标记作为“最小思维单元”插入推理链条的方案,在多个任务上达前沿水平,但也存在精度、触发机制和泛化能力等局限。

AI寒武纪
开源动态8

Generalist之后,罗剑岚团队推出LWD,也要变革具身智能训练范式

智元机器人与上海创智学院联合发布全新具身智能训练范式 LWD,可让机器人在真实世界部署中持续自主改进。它打破传统 AI 静态模式,构建数据飞轮,在四大维度创新,经测试表现出色,或成具身智能转折点。

机器之心