搜索：视觉-语言-动作

「视觉-语言-动作」共找到 1810 篇相关文章

深刻理解Token：大语言模型（LLM）是如何看待这世界？

文章指出在大语言模型（LLM）中，Token是处理文本的基本单位。介绍了Token的概念、分词方法、向量化过程，还阐述了分词对模型性能的影响，如导致模型在数学、多语言处理上表现不佳等。

上海交通大学等团队提出 Thinking with Generated Images，让大模型像人类一样用「脑内图像」推理。该研究区分三种视觉思维模式，提出核心技术框架，解决视觉推理局限，实验效果好，未来有望在多领域突破。

英伟达新论文指出，未来属于小型语言模型（SLM），挑战了智能体需用大型语言模型（LLM）的假设。SLM参数量低于100亿，有低延迟、低成本等优势，还给出从LLM到SLM迁移路线图。

上海交通大学联合北京通用人工智能研究院提出EAR范式，构建AMAZE基准，分析图像编辑模型视觉推理能力。研究发现模型零样本表现弱，扩散式模型更适合视觉规划，CoT效果不稳定等。

中国人民大学与蚂蚁集团团队基于前期 8B 扩散语言模型 LLaDA，提出方差缩减的偏好优化方法 VRPO，推出 LLaDA 1.5。它在数学、代码、对齐任务上性能提升，VRPO 为扩散语言模型对齐提供框架。

面向自动驾驶的多模态大模型存在问题，FSDrive提出“时空视觉CoT”，让模型“以图思考”，联合未来场景与感知结果进行可视化推理。该方法在不改动原有MLLM架构前提下激活图像生成能力，实验表现出色。

北大团队提出 Atomic Dance 框架，以原子动作作为舞蹈基本单元，建立有明确语义和结构的舞蹈表示，设计“动作规划 — 舞蹈生成”两阶段框架，让生成的舞蹈更符合音乐节奏和编舞逻辑，具备可解释性和可编辑性。

港中文 MMLab 与美团联合提出 OneThinker 多模态统一推理模型，将多种视觉任务抽象为‘先推理、后作答’形式，通过多任务强化学习优化。实验显示其在多任务表现佳，为通用视觉推理模型提供参考。

在多模态大模型后训练浪潮中，现有方法多以文本为中心。MMLab@南洋理工大学提出Visual Jigsaw，将拼图任务用于后训练，让模型不依赖标注强化视觉感知与理解，在图片、视频和3D模态验证有效。

4月30日DeepSeek发布多模态论文，核心是“视觉原语”，让模型边推理边输出坐标。它是七大coding agent玩家中最后接入视觉的，但补课方式反共识，不堆分辨率堆指代精度，效率高，拓扑推理成绩领先。