「多人交互视频生成」共找到 1542 篇相关文章
AI 互动游戏的 GPT 时刻到了！谷歌Genie 3首测！太牛了！
谷歌去年发布世界模型Genie 3，支持实时生成可交互视频内容，因成本高未开放。现美国18岁以上Ultra用户可试玩，其操控延迟低、画面清晰、物理交互真实，还介绍了操作流程等。
蚂蚁开源世界模型LingBot-World：具有分钟级记忆的实时世界模拟器
蚂蚁集团旗下灵波科技开源具身智能模型及世界模型LingBot-World，它将视频生成模型进化成可交互世界模拟器，采用多阶段进化策略，有涌现记忆等能力，虽有不足，但为开源社区构建世界模型迈出坚实一步。
都在问世界模型怎么落地，PixVerse把答案做成了「好玩」
互动式娱乐市场正在爆发，PixVerse推出实时视频世界模型R2版本。该版本让用户真正和世界交互，解决实时视频世界模型持续scaling问题，从内测case来看玩法丰富，其底层技术也有大幅改进。
马斯克AI女友直播「一秒变身」，Karpathy看完立刻投钱
世界首个支持直播推流的「实时」扩散AI视频模型MirageLSD诞生，大神Karpathy亲自站台。它能理解真实视频后同步生成AI视频，实现零延迟、无限时长、每秒24帧不卡顿，给视频娱乐和直播互动带来丰富想象。
开源半自动化交互工具
Automat 目标是半自主玩各种游戏，是构建通用计算机交互环境首步。目前功能限于键盘宏录制和回放，不稳定。它是进行中的项目，路线图有激进新功能。文中介绍下载、运行方法及项目地址。
视频字幕处理开源神器
卡卡字幕助手（VideoCaptioner）操作简单，无需高配置，支持 API 和本地离线语音识别，利用大语言模型处理字幕。它支持多平台视频下载处理，有专业语音识别引擎，能智能纠错、高质量翻译、调整字幕样式。
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
VLM会描述视频，却未必用对参考图：RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。
字节推出全新视频换装框架DreamVVT
视频虚拟试穿技术受关注，但现有方法有局限。字节推出DreamVVT框架，基于扩散变换器，分两阶段试穿，能应对多种复杂场景，不过也存在依赖遮罩、复杂动作表现不稳定等问题。