「视觉语言理解」共找到 2156 篇相关文章
JinaVDR: 一个图文混排文档搜索任务的基准集
现有文档检索基准大多只考虑纯文本，难以处理含图表等视觉信息的文档。JinaVDR 应运而生，它是图文混排文档搜索基准集，含多语言、多领域数据，可评估模型在复杂视觉文档的检索性能。
开源即爆火！英伟达重磅推出OmniVinci全模态大模型
英伟达在华盛顿GTC大会开源OmniVinci全模态大语言模型，实现视觉、音频、语言统一理解。它性能超竞品，架构有创新，数据引擎庞大。实验有重要洞察，在多场景表现佳，代表全新AI范式。
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
从检测到通用感知：构建空间智能的基础
本文整理自张磊在AICon 2025北京的分享，分析语言与视觉原生模型架构区别，介绍基于Transformer的物体检测算法及开集检测技术进展，如Grounding DINO和DINO - X，还探讨其在多领域的应用和潜力。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
给你一套框架，理解AI时代
作者综合多方观点提炼出理解AI时代的三层框架。技术栈分底层模型能力、中层基础设施、上层应用场景；价值链是供给驱动，供给侧突破创造新需求；竞争格局在通用层赢者通吃、基础设施层多元共存、应用层快速迭代。
SeePhys Pro：重新审视多模态物理推理中的视觉理解与训练收益
来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。
大语言模型 + 编程智能体 = 安全噩梦
作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。
盲人复明！马斯克Neuralink联创实现人工视觉里程碑
Nature刊登人工视觉研究PRIMA，其让70岁失明奶奶重获光明。该研究由Neuralink联创带队，视网膜植入物使80%患者视力显著改善。PRIMA能逆转恢复视力，与传统疗法不同，已申请监管批准。
Qwen-AgentWorld：一个语言世界模型，模拟七大Agentic领域
今天正式发布 Qwen-AgentWorld，它是首个原生语言世界模型，能在七大领域模拟智能体交互环境。同步发布 AgentWorldBench 评测基准。Qwen-AgentWorld 经三阶段训练，在评测中表现出色，还探索两种范式增强通用智能体能力。