「多模态视频生成」共找到 3291 篇相关文章
RAE的终极形态？北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑
北大和阿里团队提出 UniLIP，解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP，实现图像重建，还提出双条件架构用于生成和编辑，在多基准取得 SOTA 性能。
提示词一响，烂片登场，OpenAI谈下200+迪士尼顶级IP出场费
迪士尼官宣向OpenAI投资10亿美元，签三年合作协议，授权Sora用旗下200多个顶级IP生成短视频。此前好莱坞与AI版权纷争不断，如今迪士尼选择变现，但生成内容或影响其品牌形象。
ACL 2026｜证据摊开看，场景图画清：让流式视频大模型拿捏「何时开口」
随着多模态和大语言模型发展，人类与 AI 交互走向共生。现有视频大模型难把握响应时机，西北工业大学等团队在 ACL 2026 提出 Response - G1 框架，实验显示其提升了模型性能。
真实场景也能批量造「险」！VLM+扩散模型打造真实域自动驾驶极限测试
浙江大学与哈工大（深圳）联合推出SafeMVDrive，将VLM关键车辆选择器与两阶段轨迹生成结合，可在真实域批量制造高保真安全关键视频，用于端到端自动驾驶系统安全性测试。
CVPR 2026 | 给扩散模型装上「物理引擎」: 北大彭宇新团队提出NS-Diff，使扩散模型学会流体与刚体力学
北大彭宇新团队提出 NS - Diff，将物理约束与强化学习结合，解决视频生成物理失真问题。它通过多模块提升视频物理真实感，实验表明在多数据集上超现有方法，降低物理运动误差。
UofT、UBC、MIT和复旦等联合发布：扩散模型驱动的异常检测与生成全面综述
多伦多大学、麻省理工学院等高校研究者合作完成长文综述，聚焦扩散模型在异常检测与生成领域的应用，梳理图像、视频等异常检测任务进展，提供分类体系，展望未来趋势。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
FairyGen：AI 把孩子的画“动”起来，个性化教育和动画创作
FairyGen 能将孩子画作变成卡通短片，通过多模态大语言模型构思分镜脚本，采用分层建模处理前景人物动作与背景动态。其生成流程分四阶段，但也存在前景角色重建不准、背景生成不稳定等问题。
Nano Banana核心团队：图像生成质量几乎到顶了，下一步是让模型读懂用户的intention
这是对Nano Banana核心团队的专访。团队认为图像生成质量提升空间有限，未来关键在模型可表达性和读懂用户意图。还探讨了图像模型发展趋势、应用场景、产品设计、评估方式等，提及与传统工具将长期共存。
小白也能玩转AI视频！即梦Agent模式实测：一句话搞定插画、海报、Vlog
即梦AI新上线Agent模式，用户只需一次输入指令，就能从生图到生视频全搞定。该模式还具备AI小助手功能，能满足多种需求。它基于Seedream 4.0模型，将AI生图降至0门槛，官网现推出免费生图活动。