搜索：音视频生成模型

「音视频生成模型」共找到 8835 篇相关文章

机器人看视频学操作！伯克利首次打通互联网视频到灵巧手真机部署链路

UC Berkeley团队提出端到端流程，跑通从网络视频生成真实灵巧手实机执行轨迹链路。解决了单目RGB视频手-物交互重建、带噪声参考轨迹动作重定向及遥操作规模化难题。还给出数据筛选要点。

智源研究院发布国产开源统一图像生成模型OmniGen 2.0版本。它增强理解与生成能力，打通多模态生态。玩法简单，技术有创新，还引入反思机制和新基准，推理效率提升，且将全面开源。

腾讯混元3D世界生成模型HunyuanWorld 1.0发布即开源，可在消费级显卡运行，还能兼容传统CG管线。它分层实现3D生成，通过量化等技术降低显存开销，与同类模型相比优势明显。

空间音频技术成提升沉浸式体验关键，但现有技术未充分利用360°全景视频空间信息。OmniAudio研究可直接从360°视频生成空间音频，相关代码和数据集已开源，虽有局限但前景好。

Video-Bench视频评估框架由上海交通大学、斯坦福大学等团队提出，能让MLLM像人一样评估视频。它构建双维度评估框架，引入链式查询和少样本评分技术，突破现有评估方法限制，更全面智能地评分。

上海人工智能实验室与中国人民大学提出GRA框架，以“多人协作”理念让小模型分工生成高质量训练数据。实验显示其生成数据质量高，项目已开源。它打破对大模型蒸馏依赖，展现“集体智能”潜力。

神秘具身团队放出一连串Demo视频，其内部代号“MVP”的模型让机器人似人般思考决策。视频展示机器人在不同场景下的表现，如躲避推搡、做家务、机器人协作、高效收纳等，体现对物理规则和人类习惯的理解与自进化能力。

字节和UCLA联合提出Self - Forcing++方法，无需更换模型架构或重收集数据集，就能生成分钟级长视频，最长达4分15秒，高质量且开源，在长、短时长生成上性能领先。

复旦大学和字节跳动团队联合提出CreatiDesign新模型，可实现高精度、多模态、可编辑的AI图形设计生成。它解决了以往方法在处理图形设计时的难题，在多维度评估基准上表现出色，还支持多轮编辑。

Google发布Gemini Embedding 2模型，它是业界首个原生支持文本、图片、视频、音频和PDF五种模态的Embedding模型，可将这些数据映射到同一向量空间，在多模态RAG、跨模态搜索等场景有应用，还介绍了跑分、用法、竞品、价格等情况。