「MoE训练」共找到 2222 篇相关文章
SOTA级视频编辑新方法:无需训练一句话编辑视频,背景保持100%
传统视频编辑工作流被AI重塑,但现有AI方法存在问题,多源于反演 - 编辑范式。西湖大学AGILab提出无需反演和训练的FlowDirector,开销低、支持广且能100%保持背景,还采用新策略优化。
舍弃 VAE,预训练语义编码器能让 Diffusion 走得更远吗?
纽约大学谢赛宁团队、清华&快手 Kling 团队的研究者指出 VAE 制约当前 Diffusion 范式,提出用预训练视觉模型作语义编码器改进。介绍了 VAE 不足及 RAE、SVG 工作如何解决问题,将扩散模型从‘压缩优先’转为‘语义优先’。
直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点?
论文提出 SwS 框架,针对强化学习场景,利用模型自我感知弱点驱动自动化问题生成,合成针对性训练数据。还对其进行多项扩展,在多个基准测试集和模型上验证有效,性能提升显著。
RLPT:腾讯混元在预训练数据上实现自主强化学习
腾讯混元团队发布RLPT,是在预训练数据上应用强化学习的方法,可突破大语言模型扩展瓶颈。它能让模型自主学习推理能力,无需人工标注,在Qwen3 - 4B - Base模型实验中性能显著提升。
Thinking Machines 发布第二篇博文:用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章,提出模块化流形理论框架,通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题,提出流形Muon优化器,还探讨了模块化流形扩展到大型网络的方法。
奥特曼瘫坐叫停“GPT-6”训练!太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件,全面升级研究环境安全。暂停模型训练,进行工作负载、网络隔离和安全测试,还扩展监控系统。期间推进对齐研究,未来用AI护AI,升级监控。
直播预约 | Transformer 模型能否通过连接训练数据中的离散知识进行推理?
为研究Transformer是否具备组合式推理能力,提出FTCT合成任务。实验发现Few - shot CoT提示可激发推理能力,训练与测试相似度、模型复杂度影响推理能力。还分析了其内在机制,展示其泛化推理潜力。
华为 | MoE推理「王炸」组合:昇腾原生盘古推理,性能狂飙6-8倍!
华为团队推出昇腾平台原生Pangu Pro MoE 72B模型,经系统级软硬协同等优化,推理性能提升6 - 8倍。还提出分层混合并行等策略,打造融合算子,设计推理算法,在昇腾不同平台展现卓越性能。
Identity-GRPO:阿里开源多人物定制化视频生成的后训练优化算法
阿里团队提出Identity - GRPO算法解决多人物视频生成身份一致性问题。构建约15000个标注样本数据集,基于Qwen2.5VL设计奖励模型,多项策略增强训练稳定性,实验验证性能提升显著。
大象秒变挖掘机!三维变形新突破,无需额外训练 | CVPR'26
南京大学与北京大学提出MorphAny3D,无需额外训练即可让三维生成模型实现跨类别平滑变形。它通过创新注意力机制融合源与目标特征,精准控制结构与时序,效果远超传统方法,代码已开源。