「多模态视频生成」共找到 3291 篇相关文章
SeeDance 2.5：AI 一次能出 30 秒视频，被重新定价的是这几层人
7 月初，字节在火山引擎 FORCE 大会上放出 SeeDance 2.5，它能一次性生成 30 秒完整成片。文章详述其能力，提出视频生成的不可能三角判断框架，还分析它会重新定价产业链上多个环节，改写产出随机性。
原生理解生成统一：商汤开源SenseNova U1，用统一架构终结「缝合怪」多模态
商汤开源日日新 SenseNova U1 系列原生理解生成统一模型，采用 NEO-unify 架构，只需 8B 小参数就能实现很多商业闭源模型效果。在多测评维度性能领先，还能实现连续性图文创作输出，解决理解与生成断层问题。
港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型
香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。
机器人看视频学操作！伯克利首次打通互联网视频到灵巧手真机部署链路
UC Berkeley团队提出端到端流程，跑通从网络视频生成真实灵巧手实机执行轨迹链路。解决了单目RGB视频手-物交互重建、带噪声参考轨迹动作重定向及遥操作规模化难题。还给出数据筛选要点。
ICML25 | 让耳朵「看见」方向！仅依靠360°全景视频，就能生成3D空间音频
空间音频技术成提升沉浸式体验关键，但现有技术未充分利用360°全景视频空间信息。OmniAudio研究可直接从360°视频生成空间音频，相关代码和数据集已开源，虽有局限但前景好。
一个全新的世界模型，终于让AI视频进入了“无限流”时代。
AI视频公司PixVerse推出实时世界生成模型PixVerse R1，用户可输入Prompt修改视频进程，无干涉时视频会自行延续。该模型为世界模型补上实时视频生成方向，实测体验乐趣十足。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
断层碾压Seedance 2.0：神秘「欢乐马」空降榜首，视频AI变天了
周二晚间，代号「HappyHorse - 1.0」的神秘视频生成模型在 Artificial Analysis 平台空降榜首，不论文字生视频还是图像生视频都排第一，拉开 Seedance 2.0 很大差距，不过在「视频 + 音频」综合排名上屈居第二，引发诸多猜测。
相机参数秒变图片！新模型打通理解生成壁垒，支持任意视角图像创作
S-Lab等机构研究员提出Puffin统一多模态模型，它能整合理解相机参数与按参数生成对应视角图片的能力。通过“用相机思考”和400万组数据训练，解决此前模型问题，还构建相关数据集和评测基准，性能出色。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。