搜索：多模态视频生成

「多模态视频生成」共找到 3291 篇相关文章

Google Omni首发「AI视频编辑」功能，AI视频的下一种形态终于来了！

Google Omni首发全模态AI视频编辑功能，是继Banana后AI圈重大技术进步。它能改变视频内容、重绘风格、多轮修改，支持全模态输入，精通物理概念，让AI视频更逼真。

当前视频检索研究陷入困境，现有模型难以应对复杂检索需求。香港科技大学（广州）联合阿里巴巴通义实验室推出通用视频嵌入模型GVE，其在零样本设置下超越14个主流模型，全链条创新为视频检索通用化奠定基础。

Luma AI推出Modify Video玩法，能将抽象小视频爆改为特效大片，可对角色、场景等任意换，还保留原视频动作运镜。能进行视频动捕、风格迁移、单个元素编辑，性能超越同行Runway。

快手AIGC超级员工Kwali正在内测，可一句话生成完整短视频。它整合多Agent框架，有素材库和数字人资源。能完成脚本、拍摄、剪辑等环节，降低视频制作门槛，重构视频供应链。

快手开源多模态Keye-VL 1.5，为8B视频理解大模型，公开3大核心创新技术。靠Slow - Fast视频编码等，在20 + 基准屠榜。它能精确视频定位，实验显示通用、视频理解和数学推理表现佳。

在AI Infra Summit上，英伟达宣布推出NVIDIA Rubin CPX GPU，专为处理百万token级代码生成和生成式视频应用。它是首款为超大上下文AI量身定制的CUDA GPU，性能强且能效高，预计2026年底推出。

图像生成领域，自回归与扩散模型技术路线之争不断。腾讯混元团队发布X-Omni模型，通过强化学习提升自回归图像生成质量，能渲染长文本图像。该模型已开源，还构建奖励系统评估生成质量。

多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。

通用型机器人策略发展带来挑战，传统评估方法有局限，前沿视频模型虽有潜力但面临困难。Google DeepMind团队提出基于Veo的机器人策略评估系统，经实验验证有效，展示了视频仿真评估的可行路径。

李飞飞团队的World Labs发布全球首个多模态世界模型Atlas，是多模态自回归扩散Transformer，能相机控制生成、3D重建等，已向部分伙伴开放早期访问，未来将成底层模型。