「多模态理解」共找到 1546 篇相关文章
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。
国内首篇！融合语言模型的多模态触觉传感器，推动机器人触觉迈向人类水平
清华大学丁文伯团队联合多机构，受鸽子感知机制启发研发仿生多模态触觉传感器 SuperTac，构建 8.5B 参数触觉语言模型 DOVE，成果发表于《Nature Sensors》，推动机器人触觉迈向人类水平。
“扁平+拓扑”双索引，85页PDF"秒级"推理，MMRag幻觉率骤降76%
多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
从 LLM 到 World Model：为什么我们需要能理解并操作世界的空间智能？
文章指出 LLM 仅靠语言不足以支撑真正智能，构建空间智能与世界模型成关键方向。2024 年李飞飞等创立 World Labs，11 月推出 3D 世界生成模型 Marble，本文探讨空间智能重要性及世界模型如何成转变基础设施。
看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源
上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。
时隔9个月Meta全新模型Muse Spark发布：闭源，原生多模态，一发布就落后？
时隔9个月，Meta推出Muse家族首款大模型Muse Spark，原生多模态推理，但能力表现一般，编程领域落后于opus 4.6和GPT 5.4等。它有沉思模式，致力于成个人超级智能，技术亮点多，性能高效。
面壁MiniCPM-V4.5新王炸！8B手机10FPS长视频秒懂，文档手写全能识别！
面壁上新最强端侧多模态模型MiniCPM-V 4.5，基于Qwen3 - 8B与SigLIP2 - 400M构建，总参数量8B。它视觉语言理解强、手机能跑，有高帧率视频理解等特点，还有多方面技术亮点。
北大腾讯突破奖励模型瓶颈！让AI理解人类偏好，泛化能力比肩GPT-4.1
北京大学知识计算实验室联合腾讯等机构提出RewardAnything，突破奖励模型瓶颈。它让奖励模型理解自然语言评判原则，降低成本，泛化能力比肩GPT - 4.1，还能用于定制AI行为模式。
视觉思维链全新架构，加州大学让多模态大模型有了灵性，整体性能提升5.3%
加州大学伯克利分校等团队提出视觉思维链（CoVT）架构，让视觉语言模型推理时生成连续视觉信号。它内化轻量级专家能力，采用对齐策略和四阶段训练，实验显示性能提升，还具可解释性。