搜索：视频生成框架

「视频生成框架」共找到 3865 篇相关文章

V-RAE：把「看懂视频」的能力带入生成，重新思考视频模型的潜空间

近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文中提出视频表征自编码器 V-RAE。它以冻结的视觉基础模型为编码器压缩视频特征，还引入轻量级模块聚合信息。经实验验证，其在视频生成和预测上性能出色。

百度升级MuseSteamer蒸汽机视频生成模型，可生成任意长度视频，生成中能更新prompt交互创作。其技术规划前瞻体系化，成本低，在多行业有应用和商业化空间。

生成式世界模型在多领域进展显著，但评估存在局限。WorldBench 团队构建 WorldLens 评测框架，从五个维度评测开源世界模型，其评测 EvalKit 已公开，可暴露模型能力边界与失效模式。

Sand.ai团队开源全球首个千亿MoE视频生成模型MAGI - 2 - preview，总参数114B，单次前向激活约6B，成本低效果好。该模型解决了视频生成Scaling难题，架构、系统设计出色，开源将改变行业规则。

开年国产AI竞争激烈，AI视频生成圈新出全球首个支持16秒音视频直出的Vidu Q3。它能全自动生成，语言支持多语种，经权威认证排名中国第一、全球第二，可实现图生和文生音视频，提升了AI视频生成能力。

香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。

视频编辑门槛高、现有方法开销大且效果不佳。西湖大学AGI Lab团队提出无需训练的FlowDirector框架，可将基于流的视频生成模型改造成编辑工具，质量高、功能广、开销低，解决了时序、结构和编辑幅度问题。

该项目解决学术演示两核心问题，用智能体PaperTalker生成视频，还设Paper2Video基准评估。介绍了PaperTalker使用步骤，含环境、配置、推理，也说明了Paper2Video评估指标及运行方法。

匹兹堡大学团队提出 PhyT2V 框架，论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据，通过链式推理与迭代修正机制，增强主流 T2V 模型物理场景泛化与生成能力，应用前景广。

随着文图生成模型广泛应用，其安全防护机制有限。ICCV 2025上，港科、牛津大学推出AlignGuard，是文图生成模型可规模化安全对齐框架，通过生成CoProV2数据集等实现安全对齐，实验效果佳。