搜索：多物理模态交互世界模型

「多物理模态交互世界模型」共找到 1152 篇相关文章

从Token到词元：全模态时代的基模与交互入口

2026年3月24日国家数据局确立“词元”为Token标准译名，Token生成与消耗方式在多模态场景正发生变化。模思智能获数亿融资，探索从语音到全模态的路径，成果颇丰且完成能力闭环，其发展受关注。

生成可动物体是具身智能等领域关键挑战，现有方法有局限。北大团队提出DreamArt框架，从单张图像生成可交互可动物体，经三阶段流程，表现优于基线方法，不过也存在生成不符物理规律等问题。

近期，「理想的 AI 交互形态」引发热议。目前流行的聊天对话框式 AI 交互有局限，一些产品开始在特定场景引入不同交互设计。文章还分析了多数 AI 产品界面停留在聊天框的原因及业界探索新交互机会的情况。

中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。

北大彭宇新团队提出 NS - Diff，将物理约束与强化学习结合，解决视频生成物理失真问题。它通过多模块提升视频物理真实感，实验表明在多数据集上超现有方法，降低物理运动误差。

Thinking Machines发布交互模型，切入与AI交互方式问题。该模型能原生支持实时交互，由交互和后台模型组成。架构设计独特，解锁多项功能，评测表现佳，但也存在长会话、计算部署等局限。

现有生成式视频模型多停留在“外观拟合”，未真正“物理建模”。中山大学等机构提出ProPhy，构建渐进式物理对齐框架，使模型有“分层物理理解”与“空间物理对齐”能力，论文被CVPR2026近满分接收。

WonderPlay将物理仿真与视频生成结合，从单张图像生成动态3D场景。它引入混合生成模拟器，形成物理求解器与视频生成器闭环。与其他方法对比，WonderPlay在多种场景和材质下表现更优。

国防科大、深圳大学、武汉大学团队提出物理驱动的世界模型PIN - WM，能从视觉观测辨识刚体物理属性。还提出PADC提升迁移性能，经实验验证其在非抓握式操作技能Sim2Real迁移中表现出色。

淘天集团未来生活实验室提出首个系统性评估多模态大模型（VLM）交互式物理推理能力的综合基准DeepPHY。它集成六个物理环境，对17个主流VLM测试，揭示其在物理交互等方面短板。