专家并行性」共找到 1160 篇相关文章

算法论文8

超越MLA!新架构MLRA百万token,解码最高2.8倍速 | ICLR'26

大语言模型处理长文本时,自回归生成受限于显存带宽。为减少KV缓存开销,业界尝试多种方法,但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA,拆分KV缓存为四个并行分支,降低显存占用,实现4路张量并行能更优。

新智元
推荐文章7

【博客转载】CUDA Cooperative Groups

文章介绍CUDA cooperative groups,它让开发者创建和管理能同步通信的线程组,为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现,还对比不同归约求和方法及能。

GiantPandaLLM
算法论文8

为大模型思考装上“猎鹰重装引擎” :腾讯混元 SEAT 重塑深度思考

本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级,应对复杂推理任务。该框架通过多轮并行推理和语义熵导航,解决大模型深度思考的局限,且适配多种大模型,价比高。

AI科技大本营
新闻资讯8

从工具到生命形式:OpenClaw 引发的 Agent 再思考

InfoQ《极客有约》X QCon 直播邀业内专家探讨 OpenClaw 落地难点。专家认为,这波 Agent 热潮验证了复杂工作可被系统承接,也指出 OpenClaw 虽非生产级产品,但推动了全民 Agent 浪潮,同时探讨了模型与编排层结合、记忆系统等问题。

AI前线
产品应用7

Claude Skills|将 Agent 变为领域专家

今年10月,Anthropic推出Claude Skills能力,可在Claude多产品使用。它是向Agent注入内部知识的标准化方案,与MCP可协同工作,还介绍了实现Agent Skills的方法及主动式智能导购AI助手构建。

阿里云开发者
产品应用7

Subagents:构建高可靠 AI Coding 专家顾问团

文章探讨 Claude Code 的 Subagents 功能在复杂 AI 编程场景的价值与实践。指出复杂 AI Coding 面临上下文膨胀等问题,而 Subagents 可创建专属子代理,有 Context 保护等优点,还介绍使用方法、业务实践及相关思考。

阿里云开发者
产品应用7

创新自动化 AI 工具-终结者机器人

Terminator是最快的AI优先计算机操作SDK,用类似Playwright的API与Windows原生GUI应用交互,比基于视觉的方案更快更可靠,能操作后台应用。它重点支持Windows,部分支持macOS,暂不支持Linux。

GitHubStore
开源动态7

一夜狂揽 6k Star,232 个 AI 专家,真疯了!

开源项目 `The Agency (agency-agents)` 增长惊人,单日获 6K+ Stars,十天新增 3.3 万+。它打包开源 232 个 AI Agent 角色、16 个部门,各 Agent 有完整“人格系统”,支持多种主流工具,不过 Token 消耗大。

开源先锋
新闻资讯7

DDR4持续涨价,DDR5成为新的比价之王?

近期DDR4价格持续上涨,其告别价比,原因是存储巨头战略转移。而DDR5能强、功耗低,实测表现优,价格也有优势,已成为新的“价比之王”,替代DDR4是大势所趋。

芯师爷
算法论文8

RL救不了泛化!揭示LLM数学Reasoning的深层瓶颈

大型语言模型在数学竞赛级任务依赖机械化推理,现有评测集有缺陷。UC Berkeley团队提出OMEGA基准量化其数学泛化能力,实验揭示复杂度引发能崩塌等问题,指出LLM创新组合难,给出改进方向。

深度学习自然语言处理