搜索：专家并行性 - AI Reading Hub

「专家并行性」共找到 1185 篇相关文章

DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡

DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。

InfoQ《极客有约》X QCon 直播栏目邀请专家探讨 OpenClaw 爆火背后的问题，如 Agent 能否进入研发流程、AI 写代码边界等。专家认为 OpenClaw 并非低门槛产品，AI Coding 需解决可控问题，团队落地要平衡 SPEC 和 Vibe 模式。

DeepSeek 悄悄开源 LPLB 项目，该项目解决 MoE 小批量训练专家每批 token 数抖动问题。LPLB 在 EPLB 基础上，将‘冗余专家’看成带容量边的图，每批解一次线性规划，实现 token 重新路由，单节点 100µs 级求解。

大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。

文章介绍CUDA cooperative groups，它让开发者创建和管理能同步通信的线程组，为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现，还对比不同归约求和方法及性能。

本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。

InfoQ《极客有约》X QCon 直播邀业内专家探讨 OpenClaw 落地难点。专家认为，这波 Agent 热潮验证了复杂工作可被系统承接，也指出 OpenClaw 虽非生产级产品，但推动了全民 Agent 浪潮，同时探讨了模型与编排层结合、记忆系统等问题。

今年10月，Anthropic推出Claude Skills能力，可在Claude多产品使用。它是向Agent注入内部知识的标准化方案，与MCP可协同工作，还介绍了实现Agent Skills的方法及主动式智能导购AI助手构建。

文章探讨 Claude Code 的 Subagents 功能在复杂 AI 编程场景的价值与实践。指出复杂 AI Coding 面临上下文膨胀等问题，而 Subagents 可创建专属子代理，有 Context 保护等优点，还介绍使用方法、业务实践及相关思考。

Terminator是最快的AI优先计算机操作SDK，用类似Playwright的API与Windows原生GUI应用交互，比基于视觉的方案更快更可靠，能操作后台应用。它重点支持Windows，部分支持macOS，暂不支持Linux。