「多模态理解」共找到 1546 篇相关文章
DeepSeek-OCR是「长文本理解」未来方向？中科院新基准VTCBench给出答案
DeepSeek - OCR的VTC技术可实现高压缩率，降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑，中科院等推出VTCBench评估，测试模型认知极限，还推出VTCBench - Wild检测鲁棒性。
CVPR 2025 | 多模态统一学习新范式来了，数据、模型、代码全部开源
中国人民大学、清华和腾讯合作的CVPR 2025论文指出，当前多模态学习范式有缺陷。为此提出新范式，构建AV - UIE数据集、Crab框架，实现任务互助，在多任务上超垂类专家模型，数据、模型、代码开源。
关于多模态大模型Token压缩技术进展，看这一篇就够了
多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。
ICCV 2025 | HERMES：首个统一3D场景理解与生成的世界模型
本文介绍HERMES，首个统一3D场景理解与生成的世界模型。它由华中科技大学等团队合作研发，通过共享LLM驱动两大任务，解决了输入处理和任务融合难题，实验效果显著，为自动驾驶提供新范式。
刚刚，大模型装上「鹰眼」！首创高刷视频理解，谷歌Gemini 2.5完败
面壁智能开源MiniCPM-V 4.5多模态端侧模型，8B参数越级反超72B巨无霸，在多领域达SOTA。它首创高刷视频理解，性能强、效率高、适合端侧部署，还实现多技术创新，是开源端侧多模态AI的革命。
ICLR 2026 Oral｜多模态知识图谱对齐难：破解噪声关联至为关键
在数据多元化时代，多模态知识图谱能为下游应用提供数据支撑，实体对齐是构建知识图谱的核心技术。但大规模知识图谱关联与融合面临噪声和潜隐关联挑战。四川大学团队提出 RULE 方法，缓解了这些影响，论文被 ICLR 2026 接收为 Oral。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。