「Flash - MoE」共找到 269 篇相关文章
刚刚国产双响炮炸场！智谱「牛来模型」和阿里Qwen3.8-Flash双双亮相屠榜
智谱发布GLM - 5.3 - Flash（牛来模型），原生多模态，支持1M token上下文，运行在国产芯片，价格实惠。阿里开源Qwen3.8 - Flash - Next权重，成本低性能优，在四大维度重构架构。
华为盘古首次露出，昇腾原生72B MoE架构，SuperCLUE千亿内模型并列国内第一
当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。
阿里再开源，全球首个MoE视频生成模型登场，电影级美学效果一触即达
继上周开源三连发后，阿里昨晚开源全球首个 MoE 架构视频生成模型 Wan2.2，具电影级美学控制能力。它有 MoE 架构创新等四大技术亮点，可在 Hugging Face 和阿里魔搭社区下载。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
刚刚，Gemini 2.5系列模型更新，最新轻量版Flash-Lite竟能实时编写操作系统
谷歌更新Gemini 2.5系列模型，包括2.5 Pro和Flash稳定版及新推出的Flash-Lite预览版。谷歌CEO称Flash-Lite性价比高，适用于量大且注重成本的任务。报告还提及“智能体恐慌”现象。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
MoE推理「王炸」组合：昇腾×盘古让推理性能狂飙6-8倍
在通往AGI进程中，MoE模型成大模型推理提效关键。华为推出Pangu Pro MoE 72B模型，经多方面优化，推理性能提升6 - 8倍。还采用多种策略和算法，在昇腾不同平台展现卓越性能，为大模型落地提供支撑。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
昇腾+鲲鹏联手上大招！华为爆改MoE训练，吞吐再飙升20%，内存省70%
最近华为在MoE训练系统给出算子和内存优化新方案，三大核心算子全面提速，系统吞吐再提20%，Selective R/S实现内存节省70%，为大规模MoE模型训练扫清障碍。
Flash-Searcher：Web Agent的并行革命
当下Web智能体用顺序执行链解决复杂任务存在执行和信息利用率低的问题。为此提出Flash - Searcher，以DAG并行执行机制为核心，提升执行吞吐与速度，在多基准上表现优，代码已开源。