「4D视频生成框架」共找到 3868 篇相关文章
LTX-2开源：首个能同时生成视频和音频的模型
LTX-2开源，它是Lightricks团队开发的首个开源多模态基础模型，能联合生成音频和视频。采用非对称双流扩散变换器架构，用深度多语言文本编码器，速度比许多纯视频开源模型快，让模型理解声画关联。
字节跳动开源视频生成模型Alive：12B参数，个人电脑也能跑
字节跳动开源视频生成模型Alive，12B参数，支持四种模式，硬件门槛低。在评测中表现出色，技术架构精心设计，解决音视频同步等问题，虽有小瑕疵，但更适合普通玩家。
ElevenLabs 发布“视频到音乐”：AI 读懂视频内容，为其创作氛围匹配的 BGM。
ElevenLabs推出“视频到音乐”功能，其“Eleven Music”模型能分析视频上下文、情绪和风格，一键生成匹配的定制背景音乐，还能添加画外音和音效，为创作者提供端到端音视频解决方案。
告别抽卡、散装工具拼凑！通用AI视频智能体框架UniVA开源
在AI视频创作中，创作者常因频繁切换工具而疲惫。近期多所高校联合开源的UniVA框架，像「AI导演」，能整合视频工具，提供一站式自动化体验，改变「抽卡」式创作，还支持多轮交互等功能。
让机器人看视频学操作技能，清华等全新发布的CLAP框架做到了
近日，清华联合星尘智能、港大、MIT提出 CLAP 框架，能将视频运动空间与机器人动作空间对齐，解决‘数据饥荒’‘视觉纠缠’等问题，可让机器人从视频学技能，还缓解知识迁移难题，推动机器人产业化。
ICLR 2026 | CineTrans: 首个转场可控的多镜头视频生成模型，打破闭源技术壁垒
随着视频生成模型发展，影视级长视频需多镜头序列及自然转场，这成新挑战。上海人工智能实验室团队提出 CineTrans 模型，基于掩码机制实现自动化转场，还构建 Cine250K 数据集，实验效果超基线。
从「找视频」到「产视频」：快手RaG推动推荐系统迈向完全生成时代
快手最新论文提出的 Recommendation-as-Generation（RaG），把推荐系统从「在已有视频里找答案」推进到「根据用户兴趣生成答案」，已在快手大规模广告系统中部署，带来广告收入提升。
中山大学梁小丹团队论文：让视频生成从「看起来真实」到「物理上正确」丨CVPR 2026
中山大学梁小丹团队提出《ProPhy: Progressive Physical Alignment for Dynamic World Simulation》，通过分层建模和逐步对齐，引入视觉语言模型作监督，解决视频生成模型物理建模问题，提升物理正确性和视频质量。
首帧的真正秘密被揭开了：视频生成模型竟然把它当成「记忆体」
UMD、USC、MIT研究团队发现视频生成模型会把首帧当作‘概念记忆体’，将视觉实体存于首帧并在后续复用。基于此提出轻量方法FFGo，用少量例子让模型实现SOTA级视频定制。
OmniHuman-1.5：让数字人拥有“思考”的视频生成新范式
现有视频数字人模型难捕捉角色本质，字节提出 OmniHuman - 1.5 框架。其核心创新是用 MLLM 提供语义引导、提出多模态 DiT 架构和伪末帧设计，使模型融合多模态信号，生成高质量角色动画。