搜索：多模态视觉语言模型

「多模态视觉语言模型」共找到 2249 篇相关文章

字节开源高效解析文档图像的新型多模态模型Dolphin，快速将复杂的文档图像转化为结构化数据。

字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。

日常在线翻译服务有隐私、离线使用等问题，Argos Translate是100%本地运行的离线翻译方案，免费、隐私安全，支持40多种语言，具备多模态接口、GPU加速等功能，适合多种场景。

现有多模态大模型在通用场景推理有瓶颈，缺乏对视觉线索校验与再思考能力。中科院自动化所提出GThinker模型，有创新的「线索引导式反思」模式，经两阶段训练，性能超O4 - mini，论文等已开源。

美团研究者提出Metis - RISE框架，将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能，再SFT补齐短板，训练的两模型在OpenCompass榜单成绩优异。

小红书推出多模态模型DeepEyesV2，它延续视觉推理优势，实现代码执行、网页搜索和图像操作的全工具协同。通过多工具协同推理解决复杂问题，采用两阶段训练策略，准确率远超开源模型。

多模态大语言模型“始终思考”模式有缺陷，腾讯混元团队与中科院自动化所联合提出R - 4B，通过双模式退火训练和双模式策略优化实现自动思考，在多评测中达SoTA，省资源且效果好。

在视觉语言模型取得突破的当下，长视频理解挑战凸显。蚂蚁和人大团队提出视觉语言大模型ViLAMP，采用‘混合精度’策略，在多基准测试中超越现有方案，单卡可处理3小时视频，为实际应用带来新可能。

华中科技大学和金山办公团队联合提出语义增强特征提取器（SEFE）和交错局部视觉耦合（ILVC）模块，构建多模态大模型LIRA，解决现有模型分割不精确和理解有幻觉问题，在分割和理解任务上达SOTA。

MiniMax开源首个视觉RL统一框架V-Triune，由闫俊杰领衔。该框架通过三层组件设计和动态IoU奖励机制，让VLM能联合学习推理和感知任务。还开发Orsta模型系列，在MEGA - Bench表现出色，且MiniMax多模态布局动作多。

上海交通大学等团队构建v-HUB评测基准，分析多模态大模型视频幽默理解能力。评测7个前沿模型发现，模型依赖文字、主动发现笑点能力弱，声音作用有限，还需考虑隐形线索。