「MoE算子」共找到 208 篇相关文章

产品应用8

训练MoE足足提速70%!华为只用了3招

Scaling Law下,MoE成扩展模型能力法宝,但训练难题凸显。华为构建Adaptive Pipe & EDPB优化方案,还打造DeployMind仿真平台,解决了MoE训练中通信等待、负载不均等问题,使训练吞吐提升72.6%。

量子位
开源动态8

Linear-MoE:线性注意力遇上混合专家的开源实践

近年来,线性序列建模和混合专家(MoE)研究进步大,但两者结合研究少,相关开源实现缺失。上海人工智能实验室团队的 Linear - MoE 首次实现两者高效结合并开源技术框架,实验验证其有诸多优势。

机器之心
开源动态7

DeepSeek悄悄更新:Mega MoE、FP4 Indexer来了

昨天下午,DeepSeek 更新了 DeepGEMM 代码库,带来新东西 Mega MoE。它将 MoE 计算流程整合,让数据通信和计算同时发生,提高 GPU 利用率。还尝试组合精度、搞 FP4 indexer 等,是基础设施层重构尝试。

机器之心
开源动态7

DeepSeek悄悄开源LPLB:用线性规划解决MoE负载不均

昨天,DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配,能处理动态波动,但也存在忽略非线性成本等局限,对 MoE 架构训练加速有参考价值。

机器之心
新闻资讯7

AI圈水太深:OpenAI保密、Meta作弊!国产MoE却异军突起

文章梳理大语言模型发展,从传统稠密架构到稀疏MoE架构,参数从百亿到万亿。介绍OpenAI、Meta等厂商模型,如GPT系列、Llama系列,还提及Mixtral、DeepSeek V3等。指出Meta作弊丑闻,国产MoE模型异军突起。

新智元
算法论文8

永别了,背公式时代!波兰物理学家用一个算子统一数学

2026年4月,波兰雅盖隆大学物理学家安杰伊·奥德尔齐沃莱克发表论文,提出算子eml(x,y) = eˣ − ln(y),证明不断嵌套此算子可推导出科学计算器上每个按键对应的函数,引发数学界震动。

新智元
产品应用8

每2秒吃透一道高数大题!华为终于揭秘准万亿MoE昇腾训练系统全流程

华为揭秘准万亿MoE昇腾训练系统全流程,通过“昇腾+Pangu Ultra MoE”实现国产算力与模型自主可控训练闭环,从集群利用率、单节点算力、后训练技术三方面突破,实现大模型高效训练。

量子位
产品应用8

华为盘古首次露出,昇腾原生72B MoE架构,SuperCLUE千亿内模型并列国内第一

当前传统 MoE 有专家激活不均衡问题,华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练,推理性能强,在 SuperCLUE 榜单千亿内模型并列国内第一,赋能业务落地。

机器之心
开源动态8

跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现

9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。

OpenMMLab
开源动态8

阿里再开源,全球首个MoE视频生成模型登场,电影级美学效果一触即达

继上周开源三连发后,阿里昨晚开源全球首个 MoE 架构视频生成模型 Wan2.2,具电影级美学控制能力。它有 MoE 架构创新等四大技术亮点,可在 Hugging Face 和阿里魔搭社区下载。

机器之心