搜索：多模态视觉理解模型

「多模态视觉理解模型」共找到 1928 篇相关文章

比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临

近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。

东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。

2026年6月，CVPR第二届计算机视觉推理扩展研讨会（ViSCALE 2026）将在美国回归。由顶尖机构学者联合举办，将汇聚顶尖学者探索视觉模型突破瓶颈之法。会议亮点多，还开启论文征稿，欢迎积极投稿。

OpenAI前CTO Mira Murati创立的Thinking Machines Lab获20亿美元融资，估值达120亿美元。未来几个月将发布首个多模态AI产品，还会开源部分组件，团队全力构建多模态AI以增强人类能力。

NUS、ZJU 等联合提出「ThinkMorph」，主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型，视觉推理平均提升 34.74%，多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash，还涌现新能力。

快手开源多模态Keye-VL 1.5，为8B视频理解最强模型，公开3大核心创新技术。它靠Slow-Fast视频编码等，在20+基准屠榜。在多类基准测试和内部测评中表现优异，将业务经验沉淀到开源社区。

英伟达研究团队发布OmniVinci研究，该全模态理解大语言模型用六分之一训练数据，在全模态理解基准测试成绩超现有顶尖模型19.05分。它靠创新架构和数据策略实现效率与性能双突破。

谢赛宁团队联合杨立昆、李飞飞发布Cambrian - S研究，提出空间超感知概念，指出现有AI视频理解或被高估，推出VSI - SUPER基准测试，虽Cambrian - S模型有提升但仍有局限，预测性感知或成新范式。

北大团队推出全球首个面向古希腊陶罐的3D视觉问答数据集VaseVQA - 3D，配套专用视觉语言模型VaseVLM。传统模型面对文化遗产复杂对象有不足，新数据集和模型让AI迈向‘文化考古Agent’，未来将拓展到更多领域。

国庆期间，阿里通义千问悄悄放出6个开源模型权重，Qwen3-VL是通义千问系列最强大的视觉 - 语言模型。其30B版本多模态表现媲美GPT - 5 - Mini等，功能与架构均有升级。