「多模态世界模型」共找到 8147 篇相关文章
750篇论文，彻底把统一多模态模型摸清了
未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。
智能必须基于世界模型？我们和蚂蚁灵波团队聊了聊
上周图灵奖得主 Yann LeCun 认为真正的智能应能在脑海推演，而大语言模型难以触及真实世界。2026 年初，蚂蚁灵波连续四天开源四款具身智能模型，探索从物理交互构建智能的新路径。
上交×蚂蚁发布 DiagGym：以世界模型驱动交互式医学诊断智能体
上海交通大学与蚂蚁集团等团队提出新训练框架，构建面向医学诊断的世界模型DiagGym，训练诊断智能体DiagAgent，还设计评测基准DiagBench。实验显示该框架下的智能体表现优于先进模型，代码等已开源。
蚂蚁多模态统一框架Ming-Omni：能看懂世界、会说话、还能画画
文章介绍蚂蚁多模态统一框架Ming - Omni，它可统一处理图像、文本等多模态数据。该框架解决了多模态训练中模态表示差异、收敛速度不一致等问题，采用分阶段预训练，能用于图像、音频生成及多模态交互。
Google重磅上线通用世界模型Genie 3 - 此即未来。
Google发布世界模型Genie 3，它与Sora等AI视频产品本质不同，像可实时演算的模拟器。Genie 3解决了前辈无法调和的矛盾，在交互、时长、控制等方面有突破，虽有局限，但打开新世界大门。
华为世界模型来了！单卡30分钟生成272㎡场景
华为联合上海交通大学、华中科技大学推出世界模型WordGrow，可生成1800㎡超大室内场景，单卡30分钟跑272㎡。它用数据精准预处理、3D块补全机制、粗到精生成策略填3D场景构建的坑，指标优、速度快。
拒绝视频生成，深度跃迁提出具身基座模型全新路线
深度跃迁发布世界动作模型 DELE - w0.5，放弃基于视频生成模型的路线，训练时联合学习动作与未来世界表征，推理时移除该表征分支。在真机实验中表现超基线，具跨背景泛化能力，为世界模型提供新思路。
LeCun世界模型：48倍规划速度，单卡就能跑
Yann LeCun团队推出LeWorldModel世界模型，仅靠两条数学规则，让机器几小时学会物理运转逻辑，动作规划速度超同类48倍。它跳出复杂训练修补怪圈，单卡训练，在多环境测试表现出色，还展现对物理法则的深刻理解。
VeRL-Omni：面向扩散和全模态生成模型的通用RL后训练框架
VeRL-Omni是面向多模态生成模型的通用RL后训练框架，覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性，支持多种硬件，团队还验证了不同训练方式，后续将扩展模型与算法支持。
刚刚，谷歌摊牌：Genie 3让你1秒「进入」名画，人人可造交互世界！
谷歌新发布Genie 3世界模型，能从文本生成交互式AI空间世界，操控图像和视频。用户可进入《苏格拉底之死》《夜游者》等名画探索，还能利用它训练3D模型，实现沉浸式体验。