搜索：推理优化与部署

「推理优化与部署」共找到 3527 篇相关文章

Meta通过简单算术解锁LLM SoTA性能

大型语言模型训练耗算力与时间，传统模型融合方法有局限。本文提出SoCE新方法，通过筛选专家模型、非均匀加权平均融合，在多评测中实现先进性能，为LLM优化提供新思路。

本文借助开源项目，构建可在MCP Server中异步运行的DeepResearch，支持任务进度推送与超时控制。介绍项目架构、构建步骤、任务管理器实现要点及效果测试，还提及优化方向并给出源码。

华为首次亮相数字化风洞虚拟环境平台，可在训推复杂AI模型前“彩排”，小时级预演万卡集群。其包含Sim2Train、Sim2Infer、Sim2Availability，分别解决训练、推理、高可用问题。

第十届 CCPC 举行，字节 Seed 携 Seed - Thinking 参赛，结果意外，仅做出一题，DeepSeek R1 挂零。不同模型架构表现差异不大，暴露出大模型做算法题短板，推理模式表现更好。

Netflix分享Service Topology系统细节，它为数千微服务创建实时依赖关系图，合并三类数据源，近实时更新。开发动机源于工程支持请求常见问题，现有工具无统一视图。未来将加入部署和配置变更事件。

具身智能领域中，让机器人移动中精细操作一直未被很好解决。Current Robotics发布全身灵巧操作模型Curr - 0，用Single Policy统一策略，数据源于自研外骨骼系统，还构建世界模型解决评测部署难题。

AI应用商业化进入新阶段，头部效应显现，竞争同质化严重。支付成为关键变量，其复杂性远超预想，支付失败损耗大。优化支付需系统诊断，它是商业化基础设施，影响营收。全球支付格局复杂，Payinsider助力企业搭建支付架构。

南加州大学论文指出，AI正让全人类想法和表达同质化，体现在语言、视角和推理三方面。原因包括训练数据有偏差、训练目标求稳、人们过度依赖。研究人员虽在想办法，但效果有限，呼吁勿无节制依赖。

微软提前发布自研AI芯片Maia 200，基于台积电3纳米工艺，性能超竞品，是其异构AI基础设施重要部分，将支持多个大模型，已部署在美中数据中心，还开放Maia SDK预览。

现有强化学习工作将语言模型作整体策略优化，研究提出以策略视角审视内部隐藏状态，分析层级和模块级策略，发现不同模型模式差异，还提出自底向上强化学习策略，为研究架起新桥梁。