「MoE层」共找到 450 篇相关文章
Claude Mythos核心架构开源！22岁天才一人破解，融合DeepSeek思路
22岁初创CEO Kye Gomez以第一性原理推导出Claude Mythos核心架构，开源OpenMythos项目。该架构采用循环深度Transformer，不堆参数，循环思考16次推理，结合MoE层，参数效率翻倍。
揭示扩散语言模型扩展定律，人大高瓴团队与蚂蚁集团发布LLaDA MoE v2
中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。
阿里开源电影级AI视频模型！MoE架构，5B版本消费级显卡可跑
阿里开源新一代视频生成模型通义万相Wan2.2，含文生视频等功能。它率先将MoE架构用于视频生成扩散模型，5B版本可在消费级显卡部署。对比前代和Sora表现更优，还推出电影级美学控制系统。
vivo突破手机AI部署难题，绕开MoE架构限制，骁龙8 Elite流畅运行｜ICCV 2025
在AI多模态时代，‘让大模型上手机’成焦点。现有MLLM在手机端部署有难题，vivo AI研究院等团队提出GenieBlue方案，绕开MoE架构限制，在骁龙8 Elite芯片手机流畅运行，保持语言性能同时实现多模态表现。
为MoE解绑：全新「专家即服务」推理架构发布，超细粒度扩展锐减37.5%成本
近年来大模型推理开销增长，MoE架构虽能避免计算量同比增，但带来扩展性差、容错性低、负载不均等问题。为此作者提出全新「专家即服务」推理架构EaaS，实验显示它能锐减37.5%成本。
114B参数、6B激活，Sand.ai刚刚把全球首个千亿MoE视频生成模型开源了
Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview，总参数114B，单次前向激活约6B，成本低效果好。该模型解决了视频生成Scaling难题，架构、系统设计出色，开源将改变行业规则。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
LLM工业级自进化：北邮与腾讯AI Lab提出MoE-CL架构，解决大模型持续学习核心痛点
北邮百家AI团队与腾讯AILab提出MoE - CL架构用于LLM自进化持续指令微调。其结合‘解耦LoRA专家’与‘GAN对抗降噪’，在腾讯业务及基准测试中效果佳，降低人工成本，准确率优于主流方法。
Sglang 源码学习笔记（三）- 分布式和并行（以deepseek 为例）（WIP）
文章是 sglang 源码学习笔记，聚焦分布式和并行，以 deepseek 为例。介绍通信域类型，分析 ZMQ 和 torch.dist 通信，阐述 TP、DP、EP 实现，包括初始化、使用等，还涉及不同 Linear 层 TP 及 MoE 不同实现情况。