搜索：分布式推理系统

「分布式推理系统」共找到 3593 篇相关文章

大概念模型：AI 推理的新范式

大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。

谷歌DeepMind和MIT联合发表论文TUMIX，指出Multi - Agent是推理时扩展的最佳方式，以低成本大幅提升准确率。实验表明Agent多样性优于重复采样，还展示TUMIX机制、实战表现，且LLM能设计更强Agent。

BettaFish微舆可依自然语言需求抓取分析30多个主流社交媒体生成舆情报告。它将任务拆解给不同智能体，系统架构清晰，最终整合生成带时间线分析的HTML报告。项目在GitHub开源且登顶趋势榜第一。

系统变更是生产事故主因，本文提出聚焦变更可观测性的指标框架，介绍可扩展架构采集展示指标。定义业务和技术指标，构建以事件为中心架构获取数据，还阐述以数据驱动改进变更交付过程。

Ray Data是构建于Ray之上的分布式数据处理库，提供高性能且可扩展的API，可用于AI场景。文章从源码入手，分析其流式执行原理，包括读取数据源、构建数据处理、输出数据等环节，还介绍了LogicalPlan转PhysicalPlan及流式执行过程。

近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。

浙大研究深度研究系统领域，分析自2023年以来80多个相关实现，提出4维度分层分类法，全面分析4种实现架构，还阐述各维度演变进步。

浙大研究深度研究系统领域，分析自2023年以来80多个实现，提出4维度分层分类法，全面分析4种实现架构，涵盖基础模型、工具利用、任务规划、知识综合等方面的演变与进步。

作者受Karpathy的autoresearch启发，开发了达尔文.skill系统，可自动评估和优化skill。它有五条原则、八维度评分体系，能批量解决skill质量问题，与Anthropic官方工具互补，现已开源。

FreeMoCap是无标记点3D动作捕捉系统，用普通USB摄像头就能实现研究级全身动作捕捉，支持单/多相机模式，输出3D骨骼数据，可导入Blender等工具，具有低成本、开源可扩展等优势。