搜索：统一多模态生成编辑模型

「统一多模态生成编辑模型」共找到 3193 篇相关文章

告别昂贵人工标注，英伟达全自动视频理解助力小模型逆袭顶级大模型

麻省理工、英伟达等推出FoundationMotion，它是全自动数据生成流水线，能解决运动数据稀缺难题。通过自动标注生成问答数据，让小模型经微调后在运动理解上超越顶尖闭源模型，还介绍了其数据生成、问答设计等环节。

上海巨人网络AI实验室提出YingVideo - MV框架，结合音乐语义分析、镜头规划与视频生成模型，解决传统音频驱动视频生成难题。它分两步生成视频，以MV导演模块统筹，还解决长视频连贯性等问题，性能优于同类模型。

AI视频生成迈入音视频同步新纪元，闭源巨头已展实力，而上海创智学院与Sand.ai联合发布的开源音视频生成基础模型daVinci - MagiHuman，以极简单流架构，2秒就能在1张H100显卡上生成精准音视频同步画面。

ElevenLabs推出“视频到音乐”功能，其“Eleven Music”模型能分析视频上下文、情绪和风格，一键生成匹配的定制背景音乐，还能添加画外音和音效，为创作者提供端到端音视频解决方案。

中国人民大学高瓴人工智能学院发布DeNovoSWE数据集，专注长程软件工程任务。它通过特定机制构造高质量数据，为代码智能体长程能力训练提供支持，实验显示能显著提升模型仓库生成能力。

谷歌去年发布世界模型Genie 3，支持实时生成可交互视频内容，因成本高未开放。现美国18岁以上Ultra用户可试玩，其操控延迟低、画面清晰、物理交互真实，还介绍了操作流程等。

5月16日，腾讯发布混元图像2.0模型，率先实现实时生图，生图速度快、质量高，能避免‘AI味’。在GenEval基准上准确率超95%，还发布实时绘画板功能，后续将推原生多模态模型。

GAN之父Ian Goodfellow等提出，利用符号化表示和游戏虚拟世界数据，或为构建动作条件多模态世界模型最佳路径，该模型可支持长时序任务预测与规划，还探讨构建原因、数据来源等。

近期Intern - S1等多模态大模型开源，引发热烈讨论。本周四OpenMMLab等发起AI Insight多模态专场，邀请模型核心研发者分享，涵盖模型设计思路、实践经验等，还有圆桌对谈。

Anthropic宣布开源电路追踪工具，可追踪LLM神经元，通过生成“归因图谱”揭示模型输出原因。开源了生成图谱的库和交互式前端，并提供demo notebook。可追踪电路、可视化图谱、检验假设。