搜索：多模态视觉理解模型

「多模态视觉理解模型」共找到 1928 篇相关文章

OpenClaw的风刮到了多模态生成，6B小模型超越Nano Banana 2！

现在多模态生成模型在复杂指令和下游任务表现不佳。上海人工智能实验室等团队提出GEMS，将OpenClaw成功应用于多模态生成领域，激发小模型潜力，让6B小模型部分任务超越Nano Banana 2。

随着AI生图能力提升，如何让AI进入创作流程成新问题。兔展智能基于UniWorld - Design视觉AI大模型推出RabbitVis，推动视觉AI从图片生成走向可编辑、可交付的创作流程，解决创作流程断点问题。

2026 年 2 月 13 日，清华、北大等顶尖机构联合推出的 WorldArena 面向全球开源。这是首个‘功能 + 视觉’统一评测体系，撕开了‘美丽视频’伪装，让评测从‘审美导向’走向‘功能导向’。

上海交通大学等团队提出 Thinking with Generated Images，让大模型像人类一样用「脑内图像」推理。该研究区分三种视觉思维模式，提出核心技术框架，解决视觉推理局限，实验效果好，未来有望在多领域突破。

上海交通大学联合北京通用人工智能研究院提出EAR范式，构建AMAZE基准，分析图像编辑模型视觉推理能力。研究发现模型零样本表现弱，扩散式模型更适合视觉规划，CoT效果不稳定等。

多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。

自动化修复软件缺陷是长期目标，多模态问题修复受关注。慕尼黑工业大学团队提出GUIRepair，融合APR与GUI Testing知识，登上SWE - bench Multimodal榜单第一，为多模态软件自动修复开辟新路。

AI 进入医疗领域需谨慎，此前美国引入不成熟 AI 致手术失误频发。全球首个医疗视频理解大模型元智医疗视频理解大模型发布并开源，解决了医疗视频领域的任务优化、数据缺失和无法评测痛点。

豆包大模型团队与北京交通大学联合提出视觉世界模型 “VideoWorld 2”，无需依赖语言模型，仅靠视觉信息让机器掌握复杂能力。它能完成复杂手工任务，成功率远超主流模型，代码与模型已开源。

7月26日，上海AI实验室发布并开源「书生」科学多模态大模型Intern-S1，其多模态能力全球开源第一，文本能力比肩一流，科学能力国际领先。它开创「通专融合」新范式，重构科研生产力，引发国际关注。