搜索：多模态视觉理解模型

「多模态视觉理解模型」共找到 1928 篇相关文章

深入感知级别图像理解：UniPercept 统一图像美学、质量与结构纹理感知

多模态大语言模型在语义级任务表现卓越，但在感知级图像理解有短板。上海人工智能实验室等机构联合发布 UniPercept，构建感知属性定义系统与基准测试集，训练强基准模型，在多方面表现超现有顶尖模型，应用潜力大。

近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。

清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。

文章指出VLM在实际生产应用中因高分辨率图像存在效率问题，介绍Apple出品的FastVLM解决方案，阐述其架构、训练过程，展示在多个基准测试的性能，凸显在高分辨率输入下提升效率的优势及实际应用价值。

多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。

昨夜阿里推出全新多模态模型Qwen-VLo，在原有能力上全面升级，有细节捕捉、图像编辑、多语言支持等亮点，不受固定格式限制。官方demo展示多种玩法，目前免费可玩，实测其编辑能力不错。

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

智谱AI与清华联合开源GLM - 4.5V视觉大模型，它基于GLM - 4.5 - Air开发，架构独特。在42项主流测试中创41项新纪录，多领域表现超Qwen2.5 - VL等模型，还采用新训练策略。

上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills，将可复用技能扩展为多模态程序性知识，通过 branch loading 调用视觉证据，在 GUI 与游戏任务评测中表现出色。