搜索：实时视频世界模型

「实时视频世界模型」共找到 2017 篇相关文章

EasyCache：无需训练的视频扩散模型推理加速——极简高效的视频生成提速方案

近年来，扩散模型在视频生成领域广泛应用，但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案，在多模型实验中实现大幅提速且视频质量几乎无损，为技术落地提供基础。

Mirage是全球首个实时生成引擎，借助先进AI世界模型实现实时UGC玩法，支持多种游戏类型。与其他成果相比优势显著，由定制模型驱动，打破传统游戏边界，让玩家动态创造新体验。

NVIDIA 开源 Live VLM WebUI，可让用户在本地用摄像头实时测试视觉语言模型。它基于 WebRTC 技术，能将摄像头视频流实时传输给模型，分析结果叠加在画面上，支持多后端、多平台及多种模型。

近期，魔芯科技联合浙江大学潘云鹤院士、华为等发布实时交互世界模型MoWorld，推理速度超50FPS，部署成本仅为同规模GPU方案的30%。它全链路优化，将用于多行业，魔芯也完成亿元美金融资。

港科大、港中文、清华和快手可灵团队提出全新视觉框架UnityVideo，统一训练多种视觉模态，让模型更懂物理规律，视频生成更真实可控，还实现零样本泛化，在多任务表现优异。

谷歌DeepMind推出第三代通用世界模型Genie 3，能生成多样化交互式环境，可实时导航。它较前代有诸多突破，有模拟物理特性等核心能力，能赋能具身智能体研究，但也存在行动空间有限等局限。

Soul App 新开源实时数字人项目 SoulX-LiveAct，解决 AR 扩散模型流式生成稳定性问题。它实现 20 FPS 实时流式推理，延迟 0.94 秒，支持无限时长，有恒定显存等亮点，可用于多场景。

“AI 教母”李飞飞的创业公司 World Labs 推出高效世界模型 RTFM，只需一个 H100 GPU 就能一边和用户交互，一边实时渲染 3D 世界，显著降低硬件成本和部署难度，渲染效果也不俗。

近年来扩散模型在图像和视频生成领域取得突破，但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架，能在图片和视频生成上实现低延迟、低成本的高质量体验，且未来会持续迭代。

近来，杨立昆计划离开Meta创立以‘世界模型’为核心的AI公司；此前李飞飞也发文指出大语言模型弊端，强调建立‘世界模型’重要性。该模型源于对大语言模型局限的反思，能让AI理解物理世界。