搜索：4D视频生成框架

「4D视频生成框架」共找到 3878 篇相关文章

字节推出X-Streamer，实时口型同步与长程记忆数字人框架

字节推出端到端多模态人类世界建模框架X - Streamer，能从单张人像构建可无限流式生成的数字人，实现音素级口型同步和长程记忆。其核心是“思考者–行动者”双Transformer架构，在两张A100 GPU上可实时运行。

ACL 2025研究提出Lexical Diversity - aware RAG (DRAG) 框架，将词汇多样性引入RAG检索与生成，解决现有方法痛点。它有两大创新模块，实验在多基准提升准确率，还将在多模型上增益，代码即将开源。

清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。

传统video dubbing技术有局限，新兴模型也有问题。美团视觉智能部研发的InfiniteTalk引入‘稀疏帧video dubbing’，实现口型、表情、肢体与音频自然对齐，解决长视频生成难题，技术已开源。

在AIGC浪潮中，3D生成模型虽进化快，但‘慢’和计算量大制约其应用。西湖大学AGI实验室提出无需训练、即插即用的Fast3Dcache框架，能在加速同时保持或提升模型几何质量。

作者白杨SEO指出，生成式人工智能发展快，AI搜索优化GEO受关注。介绍了豆包、DeepSeek等多个AI搜索生成内容引用来源，如豆包引用抖音、头条等，DeepSeek用开源数据等，还提及各平台优化要点。

近年来，现有方法难满足游戏视频生成需求。腾讯推出Hunyuan - GameCraft，可基于一张图像和提示词生成游戏交互视频，能精准响应交互信号，保留历史场景信息，不过动作空间待丰富。

来自SGLang开源社区的Yichi介绍SGLang Diffusion，它是面向图像与视频生成的全开源扩散模型推理引擎。基于SGLang机制将能力迁移到扩散模型推理，能显著提速工作流，视频展示了多种功能。

多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。

生数科技的Vidu Q3超越Sora 2，位居全球第二、中国第一。它能16秒声画同出、叙事能力强、镜头和文字渲染出色，还降低了视频制作门槛，可用于漫剧、短剧、影视剧制作。