搜索：多模态视频生成

「多模态视频生成」共找到 3291 篇相关文章

零 API Key也能制作视频，首个完整的开源智能化视频制作工作室

OpenMontage可将AI编程助手变成视频制作工作室，用自然语言描述需求，智能体就能完成视频制作。它能做实拍视频，支持多种参考视频输入，零API Key也能用，还给出了运行步骤和推荐Prompt示例。

文章分享图像生成新方法TransDiff，它结合AR Transformer与Diffusion，提出MRAR范式。通过Q&A解答其使用Transformer原因、小Diffusion Deocder效果等问题，还指出它有连续帧生成潜力，将用于视频生成。

本文介绍自回归生成多视图图像方法 MVAR，能从先前视图提取引导信息增强一致性，拉近与基于扩散方法的图像质量差距。解决了多模态条件控制和数据有限问题，展示出强指令遵从与多视角一致性。

BiCo是创新AI视觉内容生成方法，能灵活组合图像和视频视觉概念实现可控编辑。它解决现有方法在概念提取和组合上的问题，在多方面表现优异，可用于视频制作、艺术创作等领域。

上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO，它基于离散扩散建模，打破多模态任务壁垒。相比传统自回归架构模型，它解决了生成慢、质量受限等问题，在多项评测中夺魁。

MME - VideoOCR团队评估多模态大模型（MLLM）视频OCR能力。构建精细任务体系和高质量数据集，评测18个主流MLLM。即便如Gemini - 2.5 Pro，准确率仅73.7%，暴露出MLLM在视频OCR领域能力局限。

腾讯开源游戏视频生成框架Hunyuan - GameCraft，基于混元视频生成搭建，操作简单，输入单张场景图、文字描述和动作指令就能生成高清动态游戏视频，解决传统工具瓶颈，性能优于主流模型。

有人用Seedance 2.0将Anakin and Padmé梗做成AI视频讽刺AI行业。视频对话暗示算力用途与宣称不符，最后几秒AI将帕德梅形象处理成擦边画风，揭示算力真实去向。

北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。

上海人工智能实验室等多机构推出多模态生成与理解统一模型Lumina - DiMOO，采用全离散扩散架构。它解决传统多模态架构问题，有全离散扩散建模等四大创新，性能在多基准测试中领先，应用前景广。