搜索：视频扩散Transformer

「视频扩散Transformer」共找到 1372 篇相关文章

一张照片，一个3D「你」：计算所等提出HumanLift，实现高保真数字人重建

中国科学院计算技术研究所等机构研究人员提出 HumanLift 技术，基于单张参考图像重建高斯网数字人全身。该技术融合三维视频扩散模型和人脸增强，仅需单张人体图片就能重建高逼真三维数字人。

3D视觉领域难题是用普通摄像机将高速世界转为数字化4D时空。受限于成本和带宽，现有方法有局限。本文提出“异步采集 + 视频扩散模型修复”方案，用30 FPS相机恢复100 - 200 FPS动态细节。

蚂蚁正式开源 LingBot-Map，这是基于几何上下文 Transformer 的纯自回归流式 3D 重建基础模型。它能在恒定内存下实现超万帧长视频实时三维重建，处理速度约 20 FPS，在多基准测试中超越现有流式方法。

近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。

传统多模态模型在动态视频理解与复杂推理场景面临挑战，快手开源的 Keye-VL 模型在多模态思维链技术实现突破。文章解析其核心技术，分享在快手短视频社区的落地应用，还探讨了未来“Think with Video”的技术方向。

国产AI开启新Level，生数科技的Vidu Q1参考生视频功能，9毛钱+4张图就能生成视频。它重新定义叙事，砍分镜、拍摄等流程；有业内最强一致性；价格低，让AI视频生成“快、好、省”。

现有视觉语言模型处理长视频面临诸多难题，厦门大学等联合提出轻量高效、无需微调的 Video-RAG 框架，采用多模态辅助文本检索增强生成，解决长视频理解问题，适用于多场景。

2024 年 AIGC 爆发，多模态理解技术支撑 AIGC 原生应用。快手高欢在 AICon 大会分享多模态理解在 AIGC 场景应用，介绍主流 AIGC 产品形态，探讨其背后多模态理解方法、提升能力途径及赋能 AIGC 的方向。

谷歌DeepMind联合团队发布D4RT时空重建框架，颠覆传统视频转3D方法。它按需提问，像搜索引擎，处理动态视频高效。内部结构分编码、解码两步，速度快，还发明聪明收割机算法，在多项测试中表现优异。

北京邮电大学联合南洋理工大学等机构发表论文，提出 DC - SAM 框架及 IC - VOS 基准。DC - SAM 含特征融合、正负双分支循环一致性提示生成等部分，实验在多基准测试获 SOTA 性能，为视觉大模型落地提供方案。