「视频 - 音频联合生成」共找到 2045 篇相关文章
Labubu换装记！让视频换装变得如此简单！基于扩散Transformer的视频虚拟试衣新突破
今天介绍开源项目MagicTryOn，它是基于大规模视频扩散Transformer的视频虚拟试衣框架，能实现高质量视频换装。采用三项关键技术创新，支持图像、视频试衣及定制化方案，目前仍在积极开发。
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。
智谱联合清华开源多图参考视频生成模型，带来主体一致性新高度
合肥工业大学、清华大学和智谱开源多主体参考视频生成模型Kaleido。它用全新数据构建法和精巧架构，解决主角与背景混淆难题，实验显示其在多维度表现优异，超越现有开源模型。
阿里搞了个全能解析器，文档、图片、音频、视频一锅端
阿里巴巴开源 Logics-Parsing-Omni，用一个模型统一处理文档、图片、音频、视频四种模态，输出结构化 JSON 数据。它采用三级渐进解析框架，两阶段训练策略，在自建基准上多项指标超越 Gemini - 3 - Pro。
让龙虾看懂屏幕！谷歌多模态新成果，文本图像视频音频进同一空间
谷歌发布首个原生多模态嵌入模型Gemini Embedding 2，将文本、图像、视频、音频和文档映射进同一嵌入空间，支持多模态混合输入，为AI Agent“看懂”世界提供关键基础，已展开公测。
演讲生成黑科技，PresentAgent从文本到演讲视频
联合团队提出 PresentAgent，能将长篇文档转化为带解说演示视频。采用模块化流程，还引入 PresentEval 评估框架。实验显示其接近人类表现，优于现有方案，展现了多模态智能体潜力。
从「找视频」到「产视频」：快手RaG推动推荐系统迈向完全生成时代
快手最新论文提出的 Recommendation-as-Generation（RaG），把推荐系统从「在已有视频里找答案」推进到「根据用户兴趣生成答案」，已在快手大规模广告系统中部署，带来广告收入提升。
Self-Forcing++：让自回归视频生成模型突破 4 分钟时长极限
加州大学洛杉矶分校与字节Seed等团队联合完成Self-Forcing++，让自回归视频生成模型突破4分钟时长极限。它解决传统模型架构缺陷，经三步技术实现稳定超长视频生成，实验超基线，但仍有长时记忆缺失等问题。
MMAR与AudioTrust技术解读，音频大模型评测前沿进展分享 | AI Bench Talk直播预告
司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。