「多模态统一」共找到 1293 篇相关文章
上海AI实验室发布 Intern Lumina U2：全离散扩散建模，让模型既能“看懂”也能“生成”
上海人工智能实验室发布新一代多模态统一模型 Intern Lumina U2，基于全离散扩散建模路线，支持多任务，适配两大硬件生态，在昇腾千卡级集群训练效率提升 1.85 倍，性能优异且将开放资源。
港中文 MMlab×美团新研究：仅用一个模型，应对多种视觉推理任务
港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型，将多种视觉任务抽象为‘先推理、后作答’形式，通过多任务强化学习优化。实验显示其在多任务表现佳，为通用视觉推理模型提供参考。
SIGIR 2025 | 视频检索新范式！北邮、北大等联合提出AV-NAS：首个音视频哈希搜索架构，让Mamba与Transformer自动“组队”
北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。
实测全新 SkyReels ：AI 创作，终于连成了一体
当前AI生成技术虽强，但视频创作仍门槛高、流程琐碎。昆仑万维推出全新SkyReels，是多模态创作系统，AI科技评论实测其画布、Agent等功能实用，它依托统一框架，核心竞争力在实现“统一性”。
去掉 VAE 之后，商汤用 8B 参数重新定义了开源生图的上限
商汤SenseNova U1开源后引发开发者社区关注，它基于NEO - unify架构，摒弃VAE，实现多模态理解与生成原生统一。在多项基准测试中表现出色，还针对企业办公场景优化，成为生产级任务新选择。
快手可灵也吃上了香蕉，一通离谱prompt测试，好好玩要爆了
ChatGPT发布三周年，快手可灵AI视频「O1模型」登场，号称“全球首个统一多模态视频模型”。实测显示它能一站式搞定视频修改、镜头延展等操作，还推出了图片O1模型，在图片生成方面表现出色。
诺奖得主实验室走出的中国团队，正用世界模型重构生命分子设计
过去 AI 分子设计多困于‘模态孤岛’，难以跨模态理解和设计。诺奖得主实验室走出的中国团队推出 ODesign 开源项目，将多模态分子纳入统一框架，展现跨模态迁移能力，团队创立英灵殿科技欲重构药物研发流程。
从全局到部件：腾讯全新开源Hunyuan3D-Part和Omni
腾讯全新开源Hunyuan3D - Part和Omni。Hunyuan3D - Omni支持多模态输入，统一信号到跨模态架构提升融合鲁棒性。Hunyuan3D - Part含P3 - SAM和X - Part，分别用于部件分割与生成，在对应领域达先进水平。
Lumina-DiMOO：多模态扩散语言模型重塑图像生成与理解
上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO，它基于离散扩散建模，打破多模态任务壁垒。相比传统自回归架构模型，它解决了生成慢、质量受限等问题，在多项评测中夺魁。
工业异常检测新突破，复旦等多模态融合监测入选CVPR 2025
复旦大学等机构联合发布高精度多模态数据集Real - IAD D³，提出多模态融合检测方法D³M，成果被CVPR 2025收录。该数据集含多类数据，提升检测性能，此前相关工作也被CVPR 2024收录。