搜索：多模态世界模型

「多模态世界模型」共找到 8132 篇相关文章

李飞飞团队发布新一代世界模型Atlas：从零训练，一次性打通视频生成、 3D重建与机器人仿真

李飞飞创办的 World Labs 发布新一代世界模型 Atlas，称其为‘全球首个多模态世界模型’。它从零训练，能同时完成视频生成、3D 重建和时空模拟，已向少数伙伴开放测试，未来将成 Marble 底层模型。

最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。

上海多所高校研究者提出 OST - Bench，从智能体探索场景动态在线视角挑战大模型能力。它更贴近真实世界，揭示主流多模态大模型在线时空理解短板，为未来模型发展指明方向。

本文深入解读“世界模型”，虽无明确定义，但从目的出发分为表征和生成两类。前者含生物大脑、视觉和语言中心预测；后者有基于规则模拟和数据驱动生成。还探讨LLM是否为世界模型，指出各类模型相辅相成。

全球科技界正豪赌「世界模型」，但主流模型多停留在「视觉生成」。中国影溯公司发布并开源世界模型 InSpatio - World，综合性能优异，以小博大登顶权威榜单，降低了物理世界数字化门槛，引发行业关注。

过去一年，‘世界模型’成视频生成领域热词，厂商强调产品要模拟真实世界运行规律，但业界评测一直未能精准检验其‘物体恒存’的认知能力。为此，研究者提出新基准MemoBench，测试了主流模型，揭示其短板。

AI视频公司PixVerse推出实时世界生成模型PixVerse R1，用户可输入Prompt修改视频进程，无干涉时视频会自行延续。该模型为世界模型补上实时视频生成方向，实测体验乐趣十足。

Meta FAIR推出32B参数的代码世界模型（CWM），旨在探索世界模型如何改变代码生成和推理，code和mode已开源。在SWE - bench验证中表现优，能与更大规模或闭权重的LLM竞争，还介绍了训练、数据集等情况。

2023 年于开丞做世界模型无人看好，如今该领域大热。他曾否定自己成功工作，提出“概念世界模型”解决泛化问题。其创办的西湖数智已融资超 1 亿，还分享了技术路线及对行业的看法。

Meta官宣发布代码世界模型CWM，将世界模型引入代码生成任务。它基于编程和世界建模数据训练，能模拟程序执行与交互。在编程基准测试中表现不错，算是Meta的概念验证，目前可看作Demo。