搜索：多模态视频生成大模型

「多模态视频生成大模型」共找到 3291 篇相关文章

李飞飞团队发布新一代世界模型Atlas：从零训练，一次性打通视频生成、 3D重建与机器人仿真

李飞飞创办的 World Labs 发布新一代世界模型 Atlas，称其为‘全球首个多模态世界模型’。它从零训练，能同时完成视频生成、3D 重建和时空模拟，已向少数伙伴开放测试，未来将成 Marble 底层模型。

可灵推出全新多模态视频大模型可灵O1，融合多种视频生成与修改能力。实测显示，它能实现视频内容增删、特定内容修改、扣绿幕、动作迁移、风格更改等功能，虽有局限，但开启用嘴改视频新时代。

酷模Cumob AI是基于Next.js构建的AI内容生成平台，集成多AI服务提供商API，有漫画生成等工作流，具备并发处理、资源管理等优化，支持多种部署，有诸多功能特性与亮点。

新加坡管理大学等提出开源全能多智能体框架UniVA，可统一视频理解、分割等能力，按指令生成完整故事视频。还引入UniVA - Bench基准测试套件，实验显示其在多任务中表现出色，代表视频智能生成重要进步。

视频编辑难度高，传统流程繁琐，现有AI方法有局限。北大施柏鑫团队联合贝式计算等提出VIRES方法，能实现视频主体多种编辑操作，还标注VireSet数据集。其在多指标超现有SOTA模型，团队还探索全景级可控视频生成。

随着生成模型和潜在表征技术发展，业界探讨世界模型技术路线。是像素级视频预测模拟未来场景可靠，还是潜在空间抽象表征高效？Goole DeepMind的Genie 3发布，再次引发讨论，分歧也从理论走向应用。

现有视频数字人模型难捕捉角色本质，字节提出 OmniHuman - 1.5 框架。其核心创新是用 MLLM 提供语义引导、提出多模态 DiT 架构和伪末帧设计，使模型融合多模态信号，生成高质量角色动画。

来自多机构研究团队提出基于符号化表征的生成任务描述框架，将符号化思维引入生成任务建模。实验证明，该框架在跨模态生成任务中表现出色，为推进生成式人工智能能力提供了成本效益高且可扩展的基础。

统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。

今天上午，上海创智学院 OpenMOSS 团队与模思智能发布端到端音视频生成模型 MOVA，它是中国首个高性能开源音视频模型，能实现音画同出，全栈开源打破闭源技术垄断。