算法论文7

港中大与美团：架构解耦非统一模型必需

机器之心2025-12-02

AI 摘要

香港中文大学 MMLab 和美团研究者质疑架构解耦对统一多模态模型的必要性，推出 AIA 损失。实验表明 AIA 能提升模型性能，减少数据配比问题，呼吁深入研究任务冲突。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

清华西交联合开源Cheers统一多模态模型

清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。

未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。

统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。

视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。