搜索：分布式推理系统

「分布式推理系统」共找到 3593 篇相关文章

世界模型炒作了半年，反应速度还不如 VLA？穆尧团队和百度智能云给出最新解法

生成式世界模型用于机器人控制备受争议，因其推理延迟高。上海交通大学 ScaleLab 团队等联合发布 AHA - WAM，解决推理延迟和时空分辨率错配问题，在任务成功率和推理速度上领先，还需系统协同推进落地。

文章指出AI Agent不会杀死传统软件系统，传统SaaS系统会成Agent时代的新基建。企业内部数据混乱，Agent能力上限取决于对数据的运用，CRM、ERP等系统将从服务人转向服务Agent，记录系统会被拆解重构。

近年大模型在推理任务有进展，但缺乏推理节奏调控能力。伊利诺伊大学厄巴纳 - 香槟分校和加州大学伯克利分校研究提出 AlphaOne 框架，引入 α - moment 实现无需训练的推理调控，实验显示其能提升准确率和效率。

本文整理自网易游戏高级技术经理林香鑫分享，介绍大模型在游戏研发落地实践。团队用代码知识谱图、多 agent RAG 召回等技术打造超级助手，在多业务场景落地，推动内部 AI 生成代码覆盖率提升。

当前大语言模型推理研究多聚焦被动推理，主动推理研究少，制约其在现实场景应用。为此提出 AR - Bench 基准评估大模型主动推理能力，实验显示大模型主动推理能力严重不足，并指出后续拓展方向。

本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。

本文从系统工程视角剖析 Agent 系统问题与复杂度，指出开发中‘简单’是假象，复杂性只是被转移。介绍了 Agent 开发各阶段难点，通过案例说明其落地困境，提出将其视为系统组件，先求稳定可靠，还提及开发思路、模式及最新进展。

随着摩尔定律逼近极限与AI算力需求爆发，集成电路产业正从‘单芯作战’迈向‘系统集成’。文章介绍Chiplet和SoW技术内涵、优势，对比二者差异，还提及中国‘软件定义晶上系统’技术路线及产业发展现状。

英伟达推出新型小型语言模型Nemotron Nano v2，在复杂推理基准测试上准确率与Qwen3 - 8B相当或更高，速度快6倍。它兼顾推理与非推理任务，支持“思考”预算控制，还开源了创建模型的绝大部分数据。

上海人工智能实验室等团队提出经验管理和学习框架ExGRPO，能科学管理经验。与传统RLVR方法比，它在不同基准提升性能，尤其复杂推理任务，还揭示滚雪球效应，为模型推理训练提供新思路。