搜索：多模态知识图谱

「多模态知识图谱」共找到 1408 篇相关文章

神秘「牛来」模型果然是智谱！GLM首个原生多模态，还用的国产卡

神秘模型「牛来」真身曝光，是智谱刚开源的 GLM - 5.3 Flash，为 5 系列首个原生多模态模型。它尺寸小能力强、价格低，用国产卡，实测多模态和 Coding 能力出色，架构全新，开源后将模型、算力和生态结合。

近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。

现有扩散模型缺乏多模态推理创作能力，在算力和数据不充裕时实现该功能是难题。ICML2025上，港科联合SnapResearch提出ThinkDiff，以较少资源让扩散模型有思考能力，开辟多模态理解生成新路径。

OpenAI前CTO Mira Murati创立的Thinking Machines Lab获20亿美元融资，估值达120亿美元。未来几个月将发布首个多模态AI产品，还会开源部分组件，团队全力构建多模态AI以增强人类能力。

文章详细介绍传统RAG和GraphRAG技术，前者通过向量搜索检索上下文，但无法体现数据关系；后者用知识图谱提升检索效果，亮点是构建图谱、整合信息。还指出两者优缺点，建议结合使用。

传统检索方式易给大语言模型带入噪声，知识图谱虽能提供可靠知识，但处理多跳和多实体问题有局限。Paths-over-Graph（PoG）方法通过多跳路径探索、路径剪枝等提高LLMs在复杂任务中的表现，减少幻觉。

现有深度研究系统依赖文本网页数据，忽视多模态文档知识。华为Doc - Researcher系统解决多模态文档解析不足、检索策略有限、缺乏深度研究能力等问题，含多模块，能处理复杂多模态任务。

多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。

InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。

智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。