「多模态RAG」共找到 1104 篇相关文章
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
清华-腾讯联手：音频 - 视觉多模态任务统一框架
Crab是人大、清华和腾讯合作论文提出的模型，目标是高效一统多模态场景理解任务。它解决了音频 - 视觉理解模型任务干扰、合作显式化不足等难点，通过构建数据集、设计结构和统一架构实现多任务合作。
做RAG这一年，最后悔的就是上知识图谱
基于知识图谱的检索增强生成在问答任务中存在三元组索引丢失上下文语义问题，作者提出MDER - DR双阶段框架，在标准测试和特定数据集上性能提升最高66%，还具备多方面优势。
GAG：超越RAG，无需检索的私有知识注入新范式
在高价值私有场景，主流大模型注入知识的路线各有硬伤。中科院和360AI联合团队提出GAG方案，无需检索、固定底座、单Token、即插即用，实验显示效果佳，也指出跨域组合等局限。
开源SOTA！商汤原生多模态一个大脑完成看图、推理、作画
商汤开源日日新SenseNova U1，用NEO - unify架构让像素和文字自由协作，多项指标达开源SOTA，适配10家国产芯片。它能完成看图、推理、作画等多任务，虽有局限，但后续优化值得期待。
大涨240%，Doc-Researcher确立多模态文档深度研究新范式
在ChatGPT引领的AI革命中，大语言模型面对专业复杂文档常“束手无策”。Doc-Researcher提出三位一体解决方案，构建M4DocBench评测，性能远超现有方案，还适用于多产业场景。
ScreenCoder：视觉-代码对齐新范式，为多模态程序合成开辟道路
前端开发中UI转代码耗时易错，现有工具存在不足。ScreenCoder提出模块化多智能体框架，通过三阶段分工协作实现代码生成，还构建数据引擎推动VLMs进化，实验表现出色，为多模态程序合成开辟道路。
让龙虾看懂屏幕！谷歌多模态新成果，文本图像视频音频进同一空间
谷歌发布首个原生多模态嵌入模型Gemini Embedding 2，将文本、图像、视频、音频和文档映射进同一嵌入空间，支持多模态混合输入，为AI Agent“看懂”世界提供关键基础，已展开公测。
超越 Prompt 和 RAG，「上下文工程」成了 Agent 核心胜负手
本文称「上下文工程」成 Agent 核心胜负手，它指在正确时间为 Agent 提供正确信息，超越 Prompt 和 RAG。文章归纳五大策略，如转移、压缩等，并结合 *The Bitter Lesson* 启示，探讨构建面向未来的 AI Agent。
全面评估多模态模型视频OCR能力，Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型（MLLM）视频OCR能力。构建精细任务体系和高质量数据集，评测18个主流MLLM。即便如Gemini - 2.5 Pro，准确率仅73.7%，暴露出MLLM在视频OCR领域能力局限。