「混合部署」共找到 896 篇相关文章
Kimi 大模型训推混部的稳定性与资源优化实战
月之暗面系统工程师黄维啸在 QCon 大会分享 Kimi 大模型训推混部实践。介绍了训推集群挑战，如故障多、资源利用低等，还阐述了全链路稳定性提升、资源高效利用及强化学习混合部署等方案。
容器可观测新视角： SysOM延时监控助力定位业务抖动原因
云原生场景下，资源超卖和混合部署使宿主机与容器化应用资源竞争加剧，引发内核级延迟问题。本文结合实战案例，介绍用ack - sysom - monitor Exporter分析定位内核延迟，还介绍了SysOM监控及解决系统延时的方法。
社区供稿 | 开源多模态大模型新突破，书生·万象3.5发布，通用能力、推理能力与部署效率全面升级
2025年8月26日上海AI实验室开源发布书生·万象InternVL3.5，通过创新技术实现推理、部署和通用能力全面升级。它有多种尺寸模型，多项性能领先，还加强了智能体核心能力，应用场景广泛。
中国团队引领太空算力：首次太空在轨部署通用大模型，发2800颗卫星服务数亿硅基智能体
岁末年初，全球AI竞争聚焦太空算力，中美你追我赶。美国Starcloud宣布在太空跑通大模型，中国国星宇航发布全球首个服务硅基智能体的太空算力网，计划用2800颗卫星服务数亿个硅基智能体，还实现通用大模型在轨部署。
PRSA 2025 | RPI Nithin Somasekharan、Shaowu Pan（潘韶武）：突破柯尔莫哥洛夫屏障——面向模型降阶的可学习加权混合自编码器
本文将线性POD与非线性Autoencoder通过可学习参数融合，提出可学习加权混合自编码器架构。在多数据集验证中，该方法克服了POD和纯AE的局限，在复杂PDE系统预测中表现出色，或可降低大规模计算成本。
MiniMax M2.5：230B参数仅激活10B，开源模型首次逼近Claude Sonnet，成本仅十分之一
MiniMax推出新一代开源模型M2.5，官方称其为‘为现实世界生产力设计的开源前沿模型’。性能逼近Claude Opus 4.6，采用混合专家架构，成本低。已在内部大规模部署，定位为‘AI员工’。
开源大模型SOTA又刷新！中国MiniMax M2全球排名第五，开源榜一
中国AI独角兽MiniMax发布模型M2，刷新开源SOTA。它采用混合专家架构，平衡了智能、速度和成本。在多个权威测试中表现优异，价格仅为Claude 3.5 Sonnet的8%，还提供多种部署方式和限时免费服务。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，GitHub 近 15K Stars，月均下载量超 10 万次，被多个行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享关键技术等内容，6 月 27 - 28 日他将在 AICon 演讲。
OpenAI 狂砸40亿美刀下场抢FDE，软件工程师的尽头原来是驻场啊
当地时间5月11日，OpenAI宣布成立OpenAI部署公司，初始投资超40亿美元，收购Tomoro引入现场部署工程师。这是战略转向，因企业更看重AI落地能力。如今AI竞争转向应用落地，部署工程师成香饽饽。
零Token部署GraphRAG，LinearRAG做到了~
现有GraphRAG模型在实际应用中常不如朴素RAG，原因是自动构建的知识图谱质量不佳。LinearRAG框架通过Tri - Graph架构、两阶段精准检索和零Token范式重构GraphRAG，在多数据集上超越现有方法，代码和数据已开源。