搜索：视频扩散Transformer

「视频扩散Transformer」共找到 1372 篇相关文章

腾讯混元开源游戏AI生成新工具！RTX 4090就能制作3A级动态内容

腾讯开源游戏视频生成框架Hunyuan - GameCraft，基于混元视频生成搭建，操作简单，输入单张场景图、文字描述和动作指令就能生成高清动态游戏视频，解决传统工具瓶颈，性能优于主流模型。

近年来视频AIGC推动音频驱动人体动画变革，但传统视频配音局限口部。中国科学院大学提出稀疏帧视频配音范式，推出InfiniteTalk生成器，结合多种技术实现全身动作与音频同步，实验表现突出。

主攻AI视频与多媒体生成技术的独角兽Runway发布5大更新，包括旗舰视频生成模型Gen - 4.5、首个通用世界模型GWM - 1等，展示了其在通用世界模型上的野心，刷新了视频生成指标。

阿里开源模型Wan2.2 Animate又火了，用照片和视频就能生成换脸视频，表情动作复刻佳。它上限高，还能变声，可用于舞蹈视频、影视二创等，但手指易崩坏。模型开源，有积极意义也有风险。

过去两年视频生成模型不断提升画面参数，但传统模型生成的视频固定，用户无法干预。而世界模型可跟随操作实时渲染、动态生成世界。目前Noiz AI联合多机构发布实时可交互音视频世界模型HelixWorld 1.0，后续还将开源。

谷歌Veo 3.1发布更新，实现角色、背景与物体在动态场景中的高度一致性，支持基于参考图片创建视频、原生竖屏模式及1080p和4K分辨率升频，精准控制素材，提升创作体验。

西湖大学研究人员针对一步扩散生成模型复杂性问题，提出统一设计框架，对代表性模型进行组件级分析，定位关键误差来源，提出ESC变体，在ImageNet 256×256上取得优异成果。

英伟达推出DreamGen项目，让机器人‘做梦学习’。它利用视频世界模型生成神经轨迹，仅少量现实视频就能让机器人学会新任务，实现从0泛化，还将助力GR00T - Dreams发展。

传统video dubbing技术有局限，新兴模型也有问题。美团视觉智能部研发的InfiniteTalk引入‘稀疏帧video dubbing’，实现口型、表情、肢体与音频自然对齐，解决长视频生成难题，技术已开源。

何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。