搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

GAN之父Ian Goodfellow病后归来，剑指高效世界模型

GAN之父Ian Goodfellow等提出，利用符号化表示和游戏虚拟世界数据，或为构建动作条件多模态世界模型最佳路径，该模型可支持长时序任务预测与规划，还探讨构建原因、数据来源等。

近期Intern - S1等多模态大模型开源，引发热烈讨论。本周四OpenMMLab等发起AI Insight多模态专场，邀请模型核心研发者分享，涵盖模型设计思路、实践经验等，还有圆桌对谈。

Anthropic宣布开源电路追踪工具，可追踪LLM神经元，通过生成“归因图谱”揭示模型输出原因。开源了生成图谱的库和交互式前端，并提供demo notebook。可追踪电路、可视化图谱、检验假设。

上海交通大学研究团队构建高效标注流程，发布最大人体动作数据集MotionMillion，含超2000小时、200万条文本 - 动作配对数据。还推出评测体系MotionMillion - Eval，训练70亿参数动作生成大模型，刷新SOTA。

Google发布Nano Banana 2（正式名称Gemini 3.1 Flash Image），是图像生成系统。它速度快约4倍、成本减半，支持多功能，在多个排行榜中位列前三，以低价接近文字 - 图片排行榜领先位置。

北京理工大学和理想汽车等团队提出全新框架PhysGM，引入DPO实现端到端快速前馈推理，能1分钟内将单图生成为4D动态视频，在速度和评价指标上超越主流模型，相关工作被CVPR 2026接收且代码已开源。

文章以现实中谣言传播现象为引，指出移动互联网加速谣言传播，而AI技术发展使真假更难分辨，如AI生成的图片、视频易以假乱真，还提到谷歌发布水印检测工具应对，呼吁大公司行动。

首尔国立大学提出全新框架，能生成虚拟动态场景并支持多角色上下文动作生成。引入LLM拆解复杂任务，系统用事件驱动方式规划动作，还构建基准评估相关能力，有良好扩展性和实用性。

文章聚焦HyperGraphRAG模型，介绍其架构由知识超图构建、超图检索策略、超图引导的生成机制组成，阐述构建步骤，该模型能提升检索效率，或成ACL 2025爆款。

传统video dubbing技术有局限，新兴模型也有问题。美团视觉智能部研发的InfiniteTalk引入‘稀疏帧video dubbing’，实现口型、表情、肢体与音频自然对齐，解决长视频生成难题，技术已开源。