搜索：音视频生成模型

「音视频生成模型」共找到 8835 篇相关文章

Lumina-DiMOO：多模态扩散语言模型重塑图像生成与理解

上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO，它基于离散扩散建模，打破多模态任务壁垒。相比传统自回归架构模型，它解决了生成慢、质量受限等问题，在多项评测中夺魁。

最新研究提出合成数据全新分类框架，突破‘生成模型=合成数据’传统认知，涵盖多种方法。还按应用层次划分场景，指出合成数据面临模型坍塌等挑战，正成新型基础设施。

本文深入解读“世界模型”，虽无明确定义，但从目的出发分为表征和生成两类。前者含生物大脑、视觉和语言中心预测；后者有基于规则模拟和数据驱动生成。还探讨LLM是否为世界模型，指出各类模型相辅相成。

华为联合上海交通大学、华中科技大学推出世界模型WordGrow，可生成1800㎡超大室内场景，单卡30分钟跑272㎡。它用数据精准预处理、3D块补全机制、粗到精生成策略填3D场景构建的坑，指标优、速度快。

通用型机器人策略发展带来挑战，传统评估方法有局限，前沿视频模型虽有潜力但面临困难。Google DeepMind团队提出基于Veo的机器人策略评估系统，经实验验证有效，展示了视频仿真评估的可行路径。

阿里推出世界模型HappyOyster（快乐生蚝），基于原生多模态架构，有漫游和导演两大核心功能，可实时构建和交互。与文生视频模型不同，它能随时被干预。虽世界模型尚处早期，但应用场景广泛。

长期以来，AI生图面临潜空间模型细节损耗、像素空间模型结构混乱速度慢的矛盾。李飞飞团队最新论文提出Latent Forcing方法，通过重排生成轨迹，让像素扩散模型找回效率并刷新SOTA。

开源多模态生成领域获架构级底层突破。上海创智学院与 Sand.ai 联合研发的 daVinci - MagiHuman 正式开源，打破开源界音视频联合同步生成三重局限。它采用单流 Transformer 架构，能力强、推理效率高。

近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。

第八届GAIR全球人工智能与机器人大会世界模型分论坛上，五位青年学者围绕世界模型展开精彩演讲，话题涵盖通用感知、三维技术等。他们的研究为世界模型领域带来不同启发，目前该领域研究尚处起步阶段，共识未形成。