搜索：多模态视觉理解模型

「多模态视觉理解模型」共找到 1962 篇相关文章

图像分词器造反了！华为 Selftok：自回归内核完美统一扩散模型，触发像素自主推理

华为盘古多模态生成团队推出 Selftok 技术，通过反向扩散将自回归先验融入视觉 token。它突破传统，实现因果 token、强化学习友好型 token 及纯 AR 大一统架构，实验在多方面表现优异，论文还入选 CVPR 2025 最佳候选。

多模态大模型处理结构化图像有误差放大、推理难等问题。微软亚洲研究院等提出PixelCraft，以高保真图像处理与非线性多智能体推理为支柱，提升结构化图像理解性能，在多基准上有增益。

现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。

自变量机器人发布全球首个世界统一模型架构的具身智能基础模型WALL - B，它打通视觉、听觉等模块，让机器人理解物理世界。还让机器人拥有多能力，通过真实家庭数据形成数据飞轮，助力其融入家庭。

淘天集团未来生活实验室团队提出首个3D动作游戏专用VLA模型CombatVLA，已被ICCV 2025接收。它能处理视觉输入输出动作指令，在战斗理解准确率和执行速度上表现优异，还构建了评测基准等。

4月16日，腾讯正式发布并开源混元3D世界模型2.0（HY - World 2.0）。它是多模态模型，能理解多种输入，自动生成、重建和模拟3D世界，支持多格式3D资产导出，可与游戏工作流对接。

Andrej Karpathy提出将LLM算力用于建知识库，引发关注但搭建有门槛。网易有道新出的有道宝库功能类似，能自动理解整理资料，有追问、多模态输出等功能，还打通翻译链路，目前免费内测。

本文介绍自回归生成多视图图像方法 MVAR，能从先前视图提取引导信息增强一致性，拉近与基于扩散方法的图像质量差距。解决了多模态条件控制和数据有限问题，展示出强指令遵从与多视角一致性。

GitHub上的项目codex-vision-proxy让接进Codex的DeepSeek能看图，不用换模型或等官方，装本地代理即可。它还附带视觉工具包，在智能文档解析和OCR上潜力大，证明多模态能力可长在管道上。

随着多模态大模型发展，处理高分辨率图像成关键。主流视觉编码范式难兼顾性能与效率，清华和中科院团队发布 LLaVA-UHD v3，提出 PVC 框架，对比 SBE 和 GNE，验证其在提升效率同时保留模型能力。