大规模专家并行」共找到 904 篇相关文章

产品应用8

帮大模型提速80%,华为拿出昇腾推理杀手锏FlashComm,三招搞定通算瓶颈

在大模型推理通算难题凸显的背景下,华为数学家祭出 FlashComm。它包含三项技术,分别在 AllReduce 通信、以存换传、多流并行方面优化,解决通信瓶颈,提升推理性能,未来还将围绕多方向创新。

机器之心
开源动态8

阿里Qwen3技术报告核心要点解读!

阿里Qwen3技术报告发布,披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构,预训练数据量和语种增多,后训练采用强到弱蒸馏提升性能,各模型表现优异。

PaperAgent
开源动态8

你敢信?GPT-5的电脑操作水平只比人类低2%了

Agent S3刷新了计算机使用智能体(CUA)在「OSWorld」基准测试的记录,性能达69.9%,接近人类水平。它引入bBoN实现并行扩展,还精简框架、引入原生代码智能体,已开源并发布论文。

机器之心
推荐文章8

万字长文!大模型(LLM)推理优化技术总结(非常详细)

文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。

AINLPer
产品应用8

当 AI 学会“为我代言”:Second Me 如何重新定义数字时代的身份主权

2025年初个人AI分身走向大规模应用,Second Me是“为我代言”理念的先行者。它重新定义人机关系,实现三维度价值重构,有独特技术栈。其产品体验好,开源战略有商业价值,还探讨了AI时代人的价值。

特工宇宙
产品应用8

当 CPU 莫名抖动时,SysOM Agent 如何 3 分钟定位元凶?

文章讲述小王遇服务器CPU抖动难题,传统排查无果,用SysOM Agent 3分钟定位根因是Negative Dentry堆积致VFS锁竞争。它能多维度融合数据,有专家诊断逻辑,交互简单,还介绍接入方法。

阿里云开发者
新闻资讯7

谷歌深夜放出 IMO 金牌模型,多项测试力压 Grok 4、OpenAI o3!网友评论两极分化

昨夜谷歌向 Google AI Ultra 订阅用户推 Deep Think 功能,Gemini 2.5 Deep Think 模型获 IMO 金牌。它是多智能体模型,通过并行思维输出答案,在多领域及测试中表现佳,但网友评价不一。

InfoQ
推荐文章8

热门 Skill 精选介绍

文章介绍热门Skill,含元技能、专家经验包、前端设计开发等多领域技能。如find - skills可帮用户发现安装技能,frontend - design强调前端设计美学,last30days能生成多平台趋势研究报告。

AIGC开放社区
新闻资讯7

AI 写 80%,人修最后 20%:这是什么新赛道?“ AI 代码补锅匠 ”了解一下。

Vibe Coding 成 2025 年 AI 驱动开发核心趋势,强调用自然语言提示让 AI 生成代码。虽可提升效率,但 AI 生成代码有质量、安全等问题,催生付费修复服务,未来“AI+专家”模式或成主流。

AI进修生
新闻资讯8

推理成本太高、算力不够用?单纯堆卡没用,得靠极致的“压缩”与“调度” | AICon

大模型落地面临推理成本高、算力需求大的问题。AICon大会上,阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案,覆盖云到边缘、多算力平台。

InfoQ