搜索：多模态统一模型

「多模态统一模型」共找到 8027 篇相关文章

企业级OpenClaw最强拍档来了！万亿参数的国产多模态大模型，刚刚开源发布

YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型，是万亿级开源多模态大模型之一。它优化训练效率，在多任务表现突出，为企业Agent AI提供支撑，还提出新算法和训练策略，全面开源推动落地。

上海交通大学等团队构建v-HUB评测基准，分析多模态大模型视频幽默理解能力。评测7个前沿模型发现，模型依赖文字、主动发现笑点能力弱，声音作用有限，还需考虑隐形线索。

自变量机器人发布全球首个世界统一模型架构的具身智能基础模型WALL - B，它打通视觉、听觉等模块，让机器人理解物理世界。还让机器人拥有多能力，通过真实家庭数据形成数据飞轮，助力其融入家庭。

文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。

主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。

主流OCR评测基准聚焦信息抽取，复杂图文推理任务中多模态大模型深度推理能力缺乏评估标准。OCR - Reasoning可系统性评估，还列举多种推理示例，并测评了Qwen2.5 - VL - 7B模型。

MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。

北京智源研究院联合中科院自动化所提出 UniVLA 全新 VLA 模型架构，基于全离散、自回归机制建模多模态信号，后训练引入世界模型。它刷新多项基准纪录，在真机操控和自动驾驶有潜力，为多模态感知决策融合带来新思路。

世界模型研究中，不同任务存在接口不统一等问题。北大DCAI课题组联合多方推出OpenWorldLib推理框架，整合多模态能力，构建标准化接口体系，在多任务上评估效果良好，降低研发门槛。

多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。