搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

RAG终极框架！港大开源RAG-Anything：统一多模态知识图谱

香港大学黄超教授团队发布开源项目RAG - Anything，构建统一多模态知识图谱架构，解决传统RAG技术局限。它能处理多类型异构内容，提供端到端方案，有多种优势及应用模式，还给出部署指南和未来展望。

商汤科技与南洋理工大学构建800万量级三维空间数据集，训练出开源SOTA多模态基础模型SenseNova - SI系列。该系列模型在多个权威测试中表现出色，部分超越GPT - 5，还展现出泛化等能力，且能赋能具身智能。

华中科技大学、北京邮电大学等多所高校研究团队共同推出纯多模态开源LLM——Perception-R1，该模型用强化学习优化视觉感知，目前论文和代码均已开源，其在视觉任务上表现出色，为后续研究提供强大baseline。

近年来，人们关注将LLM能力扩展至非文本模态，Discrete Tokenization成关键方案。但现有研究缺系统总结，香港科技大学等团队发布首个相关系统化综述，梳理技术脉络、方法及挑战，给出未来研究方向。

强化学习与可验证奖励提升视觉语言模型推理能力，但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE，把标注证据区转为目标分布，监督空间注意力，推理无额外标注，实验成绩优异。

7月10日，微软研究院AI for Science团队在《Science》发表成果，提出生成式深度学习模型BioEmu，结合多类数据训练，能模拟蛋白构象变化，有多项核心创新，已开源，未来将拓展应用场景。

西湖大学冯睿骐、吴泰霖等针对流匹配模型能量引导算法难题，推导新理论框架，提出三大类实用算法，给出性能分析与比较，为流匹配引导采样及生成模型应用提供理论基础。

在人工智能发展背景下，大模型内容可信度成焦点。北邮百家AI与小米团队提出溯源大模型C² - Cite，首创上下文感知归因生成技术，解决现有归因模型缺陷，已被WSDM 2026收录。

本文阐述天猫技术团队在AI赋能测试领域的实践，讲述智能测试用例生成落地路径。介绍业界现状与天猫业务特性，给出实施策略，展示应用效果，还指出问题并对未来发展做了展望。

作者测试MiniMax Agent，用其生成法国景点介绍、艺术家作品对比、攻壳机动队分析等网页。它能自主找信息、整理，生成图、音等。和Lovable对比，它表现更优，还支持免费试用。