「大规模专家并行」共找到 904 篇相关文章
帮大模型提速80%,华为拿出昇腾推理杀手锏FlashComm,三招搞定通算瓶颈
在大模型推理通算难题凸显的背景下,华为数学家祭出 FlashComm。它包含三项技术,分别在 AllReduce 通信、以存换传、多流并行方面优化,解决通信瓶颈,提升推理性能,未来还将围绕多方向创新。
阿里Qwen3技术报告核心要点解读!
阿里Qwen3技术报告发布,披露模型架构、预训练及后训练等技术细节。其有密集与混合专家两种模型架构,预训练数据量和语种增多,后训练采用强到弱蒸馏提升性能,各模型表现优异。
你敢信?GPT-5的电脑操作水平只比人类低2%了
Agent S3刷新了计算机使用智能体(CUA)在「OSWorld」基准测试的记录,性能达69.9%,接近人类水平。它引入bBoN实现并行扩展,还精简框架、引入原生代码智能体,已开源并发布论文。
万字长文!大模型(LLM)推理优化技术总结(非常详细)
文章聚焦大模型推理优化技术,介绍推理过程分预填充与解码阶段,还阐述模型并行、注意力机制优化、模型优化及服务技术等,如多查询注意力减少内存,FlashAttention 优化计算顺序。
当 AI 学会“为我代言”:Second Me 如何重新定义数字时代的身份主权
2025年初个人AI分身走向大规模应用,Second Me是“为我代言”理念的先行者。它重新定义人机关系,实现三维度价值重构,有独特技术栈。其产品体验好,开源战略有商业价值,还探讨了AI时代人的价值。
当 CPU 莫名抖动时,SysOM Agent 如何 3 分钟定位元凶?
文章讲述小王遇服务器CPU抖动难题,传统排查无果,用SysOM Agent 3分钟定位根因是Negative Dentry堆积致VFS锁竞争。它能多维度融合数据,有专家诊断逻辑,交互简单,还介绍接入方法。
谷歌深夜放出 IMO 金牌模型,多项测试力压 Grok 4、OpenAI o3!网友评论两极分化
昨夜谷歌向 Google AI Ultra 订阅用户推 Deep Think 功能,Gemini 2.5 Deep Think 模型获 IMO 金牌。它是多智能体模型,通过并行思维输出答案,在多领域及测试中表现佳,但网友评价不一。
热门 Skill 精选介绍
文章介绍热门Skill,含元技能、专家经验包、前端设计开发等多领域技能。如find - skills可帮用户发现安装技能,frontend - design强调前端设计美学,last30days能生成多平台趋势研究报告。
AI 写 80%,人修最后 20%:这是什么新赛道?“ AI 代码补锅匠 ”了解一下。
Vibe Coding 成 2025 年 AI 驱动开发核心趋势,强调用自然语言提示让 AI 生成代码。虽可提升效率,但 AI 生成代码有质量、安全等问题,催生付费修复服务,未来“AI+专家”模式或成主流。
推理成本太高、算力不够用?单纯堆卡没用,得靠极致的“压缩”与“调度” | AICon
大模型落地面临推理成本高、算力需求大的问题。AICon大会上,阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案,覆盖云到边缘、多算力平台。