搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

月之暗面刚开源多模态Kimi-2506：智能体、视觉理解，重磅大升级

国内月之暗面平台对开源多模态模型Kimi-VL-A3B-Thinking升级到2506版本。该版本性能、视觉理解等能力提升，支持更高分辨率，在多领域表现出色，还介绍了模型组成与优化器改进。

INSAIT、复旦大学等联合提出ObjectRelator框架，让AI精准匹配不同视角下同一物体，实现跨视角统一表征与理解。它在Ego转Exo和Exo转Ego任务上超基线模型，已被ICCV 2025接收，代码开源。

深度生成模型内部运作如「黑箱」，潜变量意义难捉摸。埃默里大学团队提出LatentExplainer框架，经数据扰动、智能提示、不确定性评估三步，为潜变量生成易懂解释，提升模型解释质量与可靠性。

它石智航联合六大顶尖机构推出OmniVTA视触觉操作框架和OmniViTac大规模视触觉数据集。该框架核心是从被动感知到主动预测触觉，通过多模块协同让机器人有预测、理解和修正能力，实验表现优。

谷歌DeepMind推出第三代通用世界模型Genie 3，能生成多样化交互式环境，可实时导航。它较前代有诸多突破，有模拟物理特性等核心能力，能赋能具身智能体研究，但也存在行动空间有限等局限。

清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。

UBC和Weathon Software研究指出，图像美学对齐削弱艺术表达。开发者用评估模型让图像生成模型产出符合人类审美的图片，但这导致图片同质化，限制艺术多元性，作者还提出六个相关担忧，并做多项测试验证。

Meta与约翰霍普金斯大学联合推出CrossFlow框架，实现跨模态生成新突破。它基于流匹配提出新范式，无需依赖噪声分布等，在多任务上媲美或超最优算法，训练成本低、速度快，还能适配多任务。

中国科学院计算技术研究所团队提出文本-视觉-语音多模态大模型Stream-Omni，能支持多种模态组合交互。它对各模态关系针对性建模，实现高效灵活的模态对齐，仅用少量语音数据就有多种交互能力。

Google对RAG系统错误深入分析，引入‘充分上下文’概念，指出幻觉或因上下文不足。构建评估器，提出选择性生成框架，结合多信号决策，实验显示可让RAG问答准确率最高提升10%。