搜索：VLM多模态理解能力

「VLM多模态理解能力」共找到 1578 篇相关文章

汪军对话 Rich Sutton：大模型在一定程度上分散了我们对智能理解的注意力

在RL China 2025开幕式上，汪军与图灵奖得主Richard Sutton对话。Richard认为大模型缺乏目标和奖励，分散对智能理解的注意力。他强调RL核心是从经验学习，智能原则含梯度下降等，建议将目标解读为“奖励”。

检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。

阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。

国内月之暗面平台对开源多模态模型Kimi-VL-A3B-Thinking升级到2506版本。该版本性能、视觉理解等能力提升，支持更高分辨率，在多领域表现出色，还介绍了模型组成与优化器改进。

数据密集型工作中半结构化表格处理难，传统工具和GPT - 4o表现不佳。上海交通大学等联合开源ST - Raptor，通过VLM、HO - Tree算法和LLM推理，解决复杂表格问答问题，支持多格式，适用于多场景。

INSAIT、复旦大学等联合提出ObjectRelator框架，让AI精准匹配不同视角下同一物体，实现跨视角统一表征与理解。它在Ego转Exo和Exo转Ego任务上超基线模型，已被ICCV 2025接收，代码开源。

陈怡然团队提出零监督训练新范式Vision-Zero，在多模态任务表现突出。它借鉴自博弈技术，设计自博弈框架，解决数据稀缺和知识天花板问题，还缓解跨能力负迁移，开源代码与模型可供研究。

科研等领域图表是信息核心载体，先进开源MLLMs在高难度图表理解测试准确率低。本文提出ECD数据集，规模大、质量高、风格多样，还设计合成流水线与评测基准ECDBench，为开源MLLM提供支持。

它石智航联合六大顶尖机构推出OmniVTA视触觉操作框架和OmniViTac大规模视触觉数据集。该框架核心是从被动感知到主动预测触觉，通过多模块协同让机器人有预测、理解和修正能力，实验表现优。

多模态大语言模型在语义级任务表现卓越，但在感知级图像理解有短板。上海人工智能实验室等机构联合发布 UniPercept，构建感知属性定义系统与基准测试集，训练强基准模型，在多方面表现超现有顶尖模型，应用潜力大。