「多模态视觉理解模型」共找到 1928 篇相关文章
AAAI 2025 Oral | 火山引擎多媒体实验室提出VQ-Insight，AIGC视频画质理解大模型
火山引擎多媒体实验室与北大合作论文《VQ-Insight: Teaching VLMs for AI-Generated Video Quality Understanding via Progressive Visual Reinforcement Learning》入选AAAI 2026口头汇报。VQ - Insight用渐进式框架处理AIGC视频画质理解，实验表现卓越。
ICLR神秘论文曝光！SAM3用「概念」看世界，重构视觉AI新范式
2023年Meta推出SAM，后SAM 2扩展到视频分割。近日，SAM 3现身ICLR 2026盲审论文，带来「基于概念的分割」新范式，强调按「语义概念」理解和分割图像，还构建数据引擎提升性能。
打破确定性魔咒！北航团队提出VBF++：用“不确定性建模”刷新多模态视频推荐 SOTA
北京航空航天大学和北京邮电大学联合提出VBF++框架，将多模态融合从“点估计”升级为“分布建模”。它由上下文感知先验、推荐引导的对抗优化和元学习三大组件构成，在多个数据集上刷新SOTA。
NeurIPS 2025 | 告别全量扫描！浙大提出COIDO：破解多模态数据选择「高耗」难题
浙大提出 COIDO 框架解决多模态数据选择「高耗」难题。它摒弃全量扫描，用轻量级评分器和小样本采样，将重要性和多样性的优化统一。实验显示，它性能与效率双优且有强泛化性。
Meta扩张继续！挖走OpenAI 2名多模态AI研发人员，收购语音初创公司PlayAI
据报道，Meta 首席执行官扎克伯格从 OpenAI 挖走 2 名多模态 AI 研发人员，还完成对语音初创公司 PlayAI 的收购。Meta 近期在 AI 人才争夺上攻势猛，想补足短板，其超级智能团队未来表现值得关注。
上海交大DENG Lab提出「LatentUM」：Unified Model的真正「战场」在视觉推理与世界模型
上海交通大学 DENG Lab 提出的 LatentUM，尝试让统一模型把生成的视觉内容纳入推理闭环。它在多项任务上超越基线，其核心思路是生成与语言共享语义空间的离散 visual semantic tokens，模型含三大关键设计。
英伟达港大联手革新视觉注意力机制！GSPN高分辨率生成加速超84倍
香港大学与英伟达联合推出广义空间传播网络（GSPN）。它采用二维线性传播与“稳定性 - 上下文条件”，将计算量降低，保留图像空间连贯性。在多视觉任务刷新性能纪录，如高分辨率生成加速超84倍。
告别昂贵人工标注，英伟达全自动视频理解助力小模型逆袭顶级大模型
麻省理工、英伟达等推出FoundationMotion，它是全自动数据生成流水线，能解决运动数据稀缺难题。通过自动标注生成问答数据，让小模型经微调后在运动理解上超越顶尖闭源模型，还介绍了其数据生成、问答设计等环节。
IBM推出轻量多模态文档神器！OCR与QA超GPT-4o，识别率高达98%！
日常文档处理麻烦，现有工具或体积大、算力消耗高，或识别精度不够。IBM 开源轻量多模态文档处理模型 Granite - Docling，仅258M参数，性能超 GPT - 4o，适用于多场景。
北大王选所彭宇新团队：让多模态大模型学会「看懂物种关系」丨CVPR 2026
北大王选所彭宇新团队在论文中提出TARA方法，引入生物分类学知识与多模态模型中间表征对齐。实验显示，TARA能提升模型层级识别和未知类别识别能力，还可加速训练收敛，计算开销小。