「视觉语言理解」共找到 2156 篇相关文章
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。
NVIDIA重磅开源！OmniVinci 仅 9B 模型就拿下多模态冠军！
英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。
以小博大，仅1.7B媲美gemini2.5-pro，达到SOTA文档解析性能
dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。
DeepSeek多模态新范式：一张图压缩7056倍，思考能力反超GPT和Claude
DeepSeek上线多模态并开源新范式技术。该研究让AI用视觉原语思考，弥合语言与视觉指代鸿沟。它构建紧凑模型架构，信息压缩率达7056倍，训练分三阶段，测试中表现出色，也存在局限。
Claude Opus 4.7连夜突袭：或将抢走全球7亿打工人饭碗！
Anthropic正式发布Claude Opus 4.7，定义为当前可广泛使用的最强Claude模型。其核心升级在复杂任务执行、高清视觉理解和长链路工作流，视觉能力大幅提升，在多方面超越对手，普通用户使用有三大变化。
突破具身智能任务规划边界，刷新具身大脑多榜单SOTA，中兴EmbodiedBrain模型让具身大脑学会「复杂规划」
当前主流大语言模型在具身任务场景面临瓶颈，中兴星云大脑团队推出具身视觉 - 语言基础模型 EmbodiedBrain，构建全流程创新框架，在架构、数据训练、评估体系等方面有突破，还将开源成果推动生态发展。
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
ICML 2025 Spotlight | 多模态大模型暴露短板？EMMA基准深度揭秘多模态推理能力
最新研究推出 EMMA 基准测试，揭示顶尖多模态大语言模型在深度视觉与文本融合的复杂多模态推理上显著不足。该研究已被 ICML 2025 接收，代码数据开源。实验表明，现有模型与人类专家差距大，视觉推理是核心瓶颈。
突破单token预测局限！南洋理工首次将多token预测引入微调，编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。