MoE训练」共找到 2222 篇相关文章

开源动态8

SOTA级视频编辑新方法:无需训练一句话编辑视频,背景保持100%

传统视频编辑工作流被AI重塑,但现有AI方法存在问题,多源于反演 - 编辑范式。西湖大学AGILab提出无需反演和训练的FlowDirector,开销低、支持广且能100%保持背景,还采用新策略优化。

量子位
推荐文章7

舍弃 VAE,预训练语义编码器能让 Diffusion 走得更远吗?

纽约大学谢赛宁团队、清华&快手 Kling 团队的研究者指出 VAE 制约当前 Diffusion 范式,提出用预训练视觉模型作语义编码器改进。介绍了 VAE 不足及 RAE、SVG 工作如何解决问题,将扩散模型从‘压缩优先’转为‘语义优先’。

机器之心
算法论文7

直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点?

论文提出 SwS 框架,针对强化学习场景,利用模型自我感知弱点驱动自动化问题生成,合成针对性训练数据。还对其进行多项扩展,在多个基准测试集和模型上验证有效,性能提升显著。

深度学习自然语言处理
算法论文8

RLPT:腾讯混元在预训练数据上实现自主强化学习

腾讯混元团队发布RLPT,是在预训练数据上应用强化学习的方法,可突破大语言模型扩展瓶颈。它能让模型自主学习推理能力,无需人工标注,在Qwen3 - 4B - Base模型实验中性能显著提升。

AI工程化
推荐文章7

Thinking Machines 发布第二篇博文:用模块化流形让训练更加稳定高效

Thinking Machines实验室发布第二篇Connectionism研究文章,提出模块化流形理论框架,通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题,提出流形Muon优化器,还探讨了模块化流形扩展到大型网络的方法。

AGI Hunt
新闻资讯7

奥特曼瘫坐叫停“GPT-6”训练!太强触发最高安全警报

OpenAI因模型或具网络攻击能力及此前入侵事件,全面升级研究环境安全。暂停模型训练,进行工作负载、网络隔离和安全测试,还扩展监控系统。期间推进对齐研究,未来用AI护AI,升级监控。

量子位
新闻资讯7

直播预约 | Transformer 模型能否通过连接训练数据中的离散知识进行推理?

为研究Transformer是否具备组合式推理能力,提出FTCT合成任务。实验发现Few - shot CoT提示可激发推理能力,训练与测试相似度、模型复杂度影响推理能力。还分析了其内在机制,展示其泛化推理潜力。

深度学习自然语言处理
产品应用8

华为 | MoE推理「王炸」组合:昇腾原生盘古推理,性能狂飙6-8倍!

华为团队推出昇腾平台原生Pangu Pro MoE 72B模型,经系统级软硬协同等优化,推理性能提升6 - 8倍。还提出分层混合并行等策略,打造融合算子,设计推理算法,在昇腾不同平台展现卓越性能。

AINLPer
开源动态8

Identity-GRPO:阿里开源多人物定制化视频生成的后训练优化算法

阿里团队提出Identity - GRPO算法解决多人物视频生成身份一致性问题。构建约15000个标注样本数据集,基于Qwen2.5VL设计奖励模型,多项策略增强训练稳定性,实验验证性能提升显著。

PaperAgent
算法论文8

大象秒变挖掘机!三维变形新突破,无需额外训练 | CVPR'26

南京大学与北京大学提出MorphAny3D,无需额外训练即可让三维生成模型实现跨类别平滑变形。它通过创新注意力机制融合源与目标特征,精准控制结构与时序,效果远超传统方法,代码已开源。

新智元