搜索：音频驱动虚拟形象

「音频驱动虚拟形象」共找到 854 篇相关文章

国产AI视频炸了！SkyReels-V3三大功能重磅开源，1张图生成逼真视频

昆仑天工SkyworkAI团队开源多模态视频生成模型SkyReels-V3，它能在一个架构内搞定参考图像转视频、视频延长、音频驱动虚拟形象三大核心能力，超越主流商业模型，且真正开源。

美团提出新型音频驱动肖像视频生成框架LLIA，是低延迟、可实时交互的虚拟形象生成技术。它提出四项核心技术，引入三大核心模块，构建超100小时数据集，在多方面有出色表现。

近期音频驱动肖像动画技术发展快，但现有方法存在嘴型声音不对、动作不自然等问题。阿里提出Talking - Critic奖励模型，构建Talking - NSQ数据集，还提出TLPO优化框架，提升多维度表现，实验超现有SOTA方法。

音频驱动人体动画技术有局限，阿里夸克团队推出OmniAvatar模型。它用逐像素多层次音频嵌入和LoRA训练法，解决唇动同步等问题，适用于多领域，但也存在颜色偏移等不足。

近年来视频AIGC推动音频驱动人体动画变革，但传统视频配音局限口部。中国科学院大学提出稀疏帧视频配音范式，推出InfiniteTalk生成器，结合多种技术实现全身动作与音频同步，实验表现突出。

小米推出开源音频语言模型MiMo - Audio，有超1亿小时预训练时间。它能理解音频，70亿参数模型在多基准测试达SOTA，音频理解超Gemini - 2.5 - Flash，复杂推理优于GPT - 4o - Audio，还支持多模态任务。

最近，只有52KB的音频超分辨率模型NovaSR开源，能把16kHz模糊音频变成48kHz清晰版，处理速度极快，可实时处理音频流。它能提升TTS模型质量等，虽有不足，但平衡了速度与质量。

特拉维夫大学提出HOIDiNi，这是文本驱动的扩散框架，用于生成人体 - 物体交互动作。它引入扩散噪声优化，能兼顾真实感与物理正确性。不过它泛化能力待拓展、生成速度慢，未来需提升效率等。

昆仑万维开源的SkyReels-V3，通过统一多模态上下文学习框架，实现参考图像生成视频、视频持续扩展及音频驱动虚拟数字人功能，在视觉质量与指令跟随性上逼近闭源顶尖水平，为开源社区提供强大研究基座。

2024年12月，瑞士洛桑联邦理工学院夏洛特·邦纳团队提出“AI虚拟细胞”。一年多后，AIVC方向有进展，但虚拟组织层面工作少。近日团队推出VirTues基础模型，解决空间蛋白质组学数据分散问题，在多任务表现好，还用于三阴性乳腺癌预测。