搜索：多模态视觉理解模型

「多模态视觉理解模型」共找到 1928 篇相关文章

AAAI 2026 | 北航、东京大学填补AI「语义鸿沟」，过程感知视频理解如何找到「状态」锚点？

北航陆峰教授团队联合东京大学，提出视频理解新框架 TSS，引入“状态”作视觉锚点，解决抽象文本指令与具象视频对齐难题，已被 AAAI 2026 接收，代码已开源。

DeepSeek推出DeepSeek-OCR 2，提出“视觉因果流”，以全新视觉编码器赋予模型因果推理能力。它在文档解析基准表现超Gemini 3 Pro，代码和模型权重已开源，为2D推理和原生多模态探索铺路。

北京智源研究院推出多模态世界模型Emu3.5，能原生预测视觉和语言下一状态。用超10万亿token数据预训练，后经强化学习训练。团队提出DiDA提升推理效率，其性能媲美Nano Banana，项目已开源。

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

面壁上新最强端侧多模态模型MiniCPM-V 4.5，基于Qwen3 - 8B与SigLIP2 - 400M构建，总参数量8B。它视觉语言理解强、手机能跑，有高帧率视频理解等特点，还有多方面技术亮点。

视觉推理任务中，传统多模态大模型依赖预定义工具，灵活性与领域适应性差。PyVision 框架首次让 MLLM 在推理中实时生成、执行并迭代 Python 工具，在多类任务中显著提升性能，实现范式跃迁。

近年来大语言模型在长篇视觉叙事中潜力卓越，但长视频剪辑仍难控制。中科大等团队开源工作从系统工程视角研究多模态智能体在长视频编辑中的机制，重构剪辑管线，找到症结并给出解决办法。

谷歌开源免费的编程Agent Gemini CLI，提供业界最高免费限额，能在终端访问Gemini。其能力多样，涵盖代码理解等，支持百万上下文、多模态和MCP，开源协议为Apache 2.0，还给出安装和使用指引。

在多模态大语言模型应用多元的当下，对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2，解决现有推理路径问题，其相关代码等开源，在多基准数据集成果突破性领先。

现有多模态大模型benchmark对逻辑推理理解不足，复旦大学等单位提出MME - Reasoning评估其推理能力。对30 + 模型评测，最优得分仅60%左右，反映出模型多方面推理短板。