算法论文8

浙大等：新基准拷问AI空间感

量子位2025-06-02

AI 摘要

浙大等团队：提出ViewSpatial - Bench评估基准，发现主流VLMs缺乏空间感与跨视角推理能力。多数模型在人物视角表现略优，开发MVSM可提升模型跨视角空间理解能力。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

RAM 框架：为大模型外挂三维物体知识库

现有视觉语言大模型（VLM）能让机器人理解指令，但在操作中缺三维空间知识。近日研究提出 RAM 框架，它像“三维物体知识库”，为 VLM 补充空间知识，经 14 项实验验证其操作能力，还探索了在铰接与柔性物体操作中的应用。

视频扩散模型生成新视角视频时，现有方法缺显式3D结构。智象未来提出DreamWorld，用3D先验与两阶段框架，结合结构和生成能力，在多基准测试表现领先。

视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。

国立清华与英伟达团队研究《VLM-AR3L》，把Gemini 2.0、GPT-4.1等拉进考场，评估视觉裁决能力。结果显示Gemini综合最稳，开源小模型特定场景反超。还提出VLM-AR3L框架破使用瓶颈，实战超人类手写奖励。