「LoRA - MoE」共找到 175 篇相关文章
揭示扩散语言模型扩展定律，人大高瓴团队与蚂蚁集团发布LLaDA MoE v2
中国人民大学高瓴人工智能学院与蚂蚁集团合作，首次系统刻画混合专家扩散语言模型扩展定律，据此训练LLaDA MoE v2，实现扩展效率与智能双重突破，将推动其迈向规模化时代。
OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE
OpenAI悄悄开源新模型，0.4B参数且99.9%权重为零，是Circuit Sparsity技术的开源实现。该技术通过约束模型内部连接稀疏性，解决传统稠密Transformer黑箱问题，或让MoE模型走上末路，但目前算力成本极高。
阿里开源电影级AI视频模型！MoE架构，5B版本消费级显卡可跑
阿里开源新一代视频生成模型通义万相Wan2.2，含文生视频等功能。它率先将MoE架构用于视频生成扩散模型，5B版本可在消费级显卡部署。对比前代和Sora表现更优，还推出电影级美学控制系统。
vivo突破手机AI部署难题，绕开MoE架构限制，骁龙8 Elite流畅运行｜ICCV 2025
在AI多模态时代，‘让大模型上手机’成焦点。现有MLLM在手机端部署有难题，vivo AI研究院等团队提出GenieBlue方案，绕开MoE架构限制，在骁龙8 Elite芯片手机流畅运行，保持语言性能同时实现多模态表现。
北大团队提出 SHINE：将任意文本转化为大模型 LoRA，仅需一次前向传播！
北大团队提出全新超网络架构 SHINE，仅需一次前向传播就能将任意文本转化为大模型 LoRA 参数，支持多轮对话。该方法实用潜力大、架构创新高效，训练流程成熟，推理快速，为大模型持续学习提供新思路。
114B参数、6B激活，Sand.ai刚刚把全球首个千亿MoE视频生成模型开源了
Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview，总参数114B，单次前向激活约6B，成本低效果好。该模型解决了视频生成Scaling难题，架构、系统设计出色，开源将改变行业规则。
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。
一句话生成任务专属LoRA！Transformer作者创业公司颠覆LLM微调
Transformer作者之一创立的SakanaAI推出Text-to-LoRA（T2L），简化模型适配流程，省却繁琐微调。T2L参数压缩率达80%仅降1.2%准确率，零样本场景平均准确率78.3%超现有SOTA方法，开启“一句话定制模型”时代。
Mythos架构被22岁小伙“逆推”开源了！MoE和注意力借鉴DeepSeek
22岁小伙Kye Gomez将Claude Mythos架构整合开源成OpenMythos，实现带MoE路由的循环深度Transformer（RDT）。该架构仅用一半参数，就能获与传统模型同等效果，吸引学界关注。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。