搜索：双预训练架构

「双预训练架构」共找到 3616 篇相关文章

阿里开源电影级AI视频模型！MoE架构，5B版本消费级显卡可跑

阿里开源新一代视频生成模型通义万相Wan2.2，含文生视频等功能。它率先将MoE架构用于视频生成扩散模型，5B版本可在消费级显卡部署。对比前代和Sora表现更优，还推出电影级美学控制系统。

当前传统 MoE 有专家激活不均衡问题，华为盘古团队提出 MoGE 解决。基于此架构的盘古 Pro MoE 大模型在昇腾集群高效训练，推理性能强，在 SuperCLUE 榜单千亿内模型并列国内第一，赋能业务落地。

Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。

百度开源全新视觉理解模型Qianfan-VL，有3B、8B和70B三个版本，在昆仑芯P800芯片上训练。该模型多模态能力强，OCR和教育场景表现突出，跑分超国际主流模型。芯片功耗低、架构优，模型训练方法创新。

在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。

大语言模型性能提升但成本高，制约落地应用。上海AI Lab联合多家机构总结440余篇论文，形成82页综述，将LLM高效架构分为7类，探讨最新进展，还涉及线性化技术、硬件实现等内容。

中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。

3月4日，蚂蚁集团联合清华发布开源强化学习训练框架AReaL v1.0稳定版，主打‘Agent一键接入RL训练’。它解决现有智能体框架接入训练成本高、缺乏持续进化能力的问题，还推出原生训练引擎Archon，集成AI辅助开发体系。

浙江大学与通义实验室团队推出UI - S1，提出半在线强化学习训练范式。它融合离线与在线学习优势，用三项关键技术构建核心架构，新评测指标SOP更贴近真实表现，实验显示UI - S1 - 7B性能卓越，逼近GPT - 4o。

牛津VGG、港大、上交大团队论文提出ELIP方法，用学术界资源增强视觉语言大模型预训练，用于文字 - 图片检索。该论文被大会接受并获最佳论文提名。ELIP可应用于多个大模型，实验显示能显著提升图片检索表现。