搜索：多模态视觉理解模型

「多模态视觉理解模型」共找到 1928 篇相关文章

马斯克将用最强Grok 5，挑战LOL最强战队T1！

马斯克让Grok 5戴「纯视觉感知」与「拟人延迟」镣铐挑战LOL传奇战队T1。这是终极图灵测试，AI像人一样感知与推理。对决为特斯拉Optimus练兵，若AI看懂团战，就能理解现实世界。

上海人工智能实验室与中山大学联合研发的 Earth - Agent 解决了多模态大语言模型用于地球科学研究的痛点。它将领域知识工具封装化，利用 LLM 智能规划调度。经 Earth - Bench 评估，其在多方面表现出色，未来发展前景广阔。

在复杂视觉场景中，传统RGB - IR多模态检测方法在低照度等场景下因RGB退化影响检测效果。北航等团队提出的InfraNet，以红外为主，用质量感知机制控制RGB引导，在多数据集取得强竞争力结果。

北大和阿里团队提出 UniLIP，解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP，实现图像重建，还提出双条件架构用于生成和编辑，在多基准取得 SOTA 性能。

现有抓取研究多在稳定性层面，而功能性抓取更接近真实世界的智能。北大卢宗青团队提出DemoFunGrasp方法，对功能性抓取重新建模，在仿真与真实场景均超70%成功率，还引入视觉语言模型让机器人理解语言指令。

华为盘古多模态生成团队推出 Selftok 技术，通过反向扩散将自回归先验融入视觉 token。它突破传统，实现因果 token、强化学习友好型 token 及纯 AR 大一统架构，实验在多方面表现优异，论文还入选 CVPR 2025 最佳候选。

多模态大模型处理结构化图像有误差放大、推理难等问题。微软亚洲研究院等提出PixelCraft，以高保真图像处理与非线性多智能体推理为支柱，提升结构化图像理解性能，在多基准上有增益。

现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。

自变量机器人发布全球首个世界统一模型架构的具身智能基础模型WALL - B，它打通视觉、听觉等模块，让机器人理解物理世界。还让机器人拥有多能力，通过真实家庭数据形成数据飞轮，助力其融入家庭。

淘天集团未来生活实验室团队提出首个3D动作游戏专用VLA模型CombatVLA，已被ICCV 2025接收。它能处理视觉输入输出动作指令，在战斗理解准确率和执行速度上表现优异，还构建了评测基准等。