搜索：多模态视觉语言模型

「多模态视觉语言模型」共找到 2249 篇相关文章

模型声称会“脑补”，结果被论文打脸了？潜在空间想象竟是“摆设”！

多模态大模型中“潜在视觉推理”概念很火，研究者让模型在潜在空间“想象”。但清华和北交学者论文指出，潜在 Token 不关心输入、不影响输出、没信息量。作者提出 CapImagine 方案，效果远超潜在空间方法。

北京大学王勇涛团队提出新型自动驾驶系统 KnowVal，通过感知与知识检索模块协同实现视觉 - 语言推理。它构建驾驶知识图谱，有价值模型用于轨迹规划，实验在多基准测试表现佳，还通过定性分析验证效果。

NVIDIA 推出多模态大语言模型 OmniVinci，结合架构创新与数据合成流水线，训练 token 仅为 Qwen2.5 - Omni 的六分之一，却在多项基准测试表现更佳。但采用限制商业用途的许可证，引发争议。

文章指出传统表征学习处理图片和商品信息时存在局限，针对性有监督训练成本高，多模态大模型使用成本也需考虑。为此提出即插即用的条件表征学习方法 CRL，实验显示其在下游任务表现优异。

谷歌DeepMind发布新一代通用机器人基座模型Gemini Robotics 1.5系列，由GR 1.5和GR - ER 1.5组成，结合视觉、语言与动作，实现“规划 + 执行”闭环，还提出Motion Transfer机制，能跨机器人迁移技能。

当前视觉语言大模型空间信息学习片段化，缺乏多维度空间推理能力。浙大、成电和港中文团队提出ViewSpatial - Bench基准体系，评估主流模型，揭示其缺陷，并开发MVSM优化跨视角空间理解。

阿里升级实时语音识别大模型Fun-ASR-Realtime，首字延迟在百毫秒级别、识别准确率接近离线模型。在影视飓风100小时直播中表现出色，还支持16种方言和30种语言，离线模型Fun-ASR-Flash全球权威榜单排第一。

面壁智能联合多方开发的2B小模型VoxCPM 2于4月开源，支持30种语言与9大方言，能实现声音克隆、情绪控制、音色设计等功能。实测显示其能力出色，还提供全家桶级工具箱，采用独特技术路线。

500年前《纽伦堡编年史》中的手写注释难倒人类学者，Gemini 3.0 Pro仅用1小时就给出解读，识别出注释与圣经年代学体系计算有关。它攻克视觉识别、解读缩写、还原历法转换表三大难题，展现惊人能力。

前小米OS高管董红光创立光帆科技，他认为AI将重塑消费电子行业，未来交互是“需求式”和“多模态”的，手机或不再是最适配设备，穿戴设备或先变革，未来多设备联动由AI大脑调度。