搜索：多模态世界模型

「多模态世界模型」共找到 8147 篇相关文章

代码、多模态检索全面登顶SOTA！智源BGE向量模型三连击，并全面开放

检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。

香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。

本文是对IDEA研究院张磊的深度访谈。张磊在计算机视觉领域成就斐然，他指出具身智能落地需攻克成功率、泛化性等挑战，大脑比本体更关键。还阐述了世界模型概念及应用，定义其应具备动作依赖等内容。

学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。

8月17日，智象未来发布交互式世界模型HiDream - O1 - World，定位为全球首款原生全模态交互式世界模型。它提供漫游和编辑两种交互方式，在WBench测试中成绩优异，但开放场景表现待验证。其采用独特生成方式，有广阔应用前景。

多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。

4月16日，阿里发布世界模型产品HappyOyster，由ATH创新事业部团队研发。它与谷歌Genie 3同属世界模拟器流派，采用长跨度世界演化建模，有漫游和导演两大核心能力，在多方面呈现差异化优势。

YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型，是万亿级开源多模态大模型之一。它优化训练效率，在多任务表现突出，为企业Agent AI提供支撑，还提出新算法和训练策略，全面开源推动落地。

2025年5月武伟创办流形空间，成立3个月获亿元融资。他认为VLA是过渡方案，世界模型是AGI新基建。当下技术分显式物理建模和隐空间交互两派，流形空间做具身世界模型，从预训练做起，还将领域模型产品化。

李飞飞创业团队World Labs宣布能生成持久、可导航且能自定义操控的3D世界。该模型专注构建3D环境，有更好几何形状、多样风格、更大规模，还支持无限畅游，已推出beta版。