「多模态视频生成」共找到 3291 篇相关文章
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
腾讯发布Hunyuan-GameCraft！从静图进入动态游戏世界
近年来，现有方法难满足游戏视频生成需求。腾讯推出Hunyuan - GameCraft，可基于一张图像和提示词生成游戏交互视频，能精准响应交互信号，保留历史场景信息，不过动作空间待丰富。
SGLang｜SGLang Diffusion
来自SGLang开源社区的Yichi介绍SGLang Diffusion，它是面向图像与视频生成的全开源扩散模型推理引擎。基于SGLang机制将能力迁移到扩散模型推理，能显著提速工作流，视频展示了多种功能。
面向长时语音与声音克隆的全模态开源万能聊天机器人MGM-Omni
文章介绍了全模态开源聊天机器人MGM - Omni，它基于MiniGemini，支持多模态输入输出，具备长语音理解、生成、流式生成、零样本语音克隆等特性，还给出安装、使用方法，展示评估结果。
最低仅需2G显存，谷歌开源端侧模型刷新竞技场纪录，原生支持图像视频
今天凌晨，谷歌官宣Gemma 3n，原生支持多模态。它在大模型竞技场超1300分，是首个超此分数的10B以下模型。其VRAM占用低，最低2GB，已在谷歌AI Studio等可用，还公开了技术细节。
灭霸带着复联放烟花！16秒，让手搓 AI 视频拥有大片即视感
生数科技的Vidu Q3超越Sora 2，位居全球第二、中国第一。它能16秒声画同出、叙事能力强、镜头和文字渲染出色，还降低了视频制作门槛，可用于漫剧、短剧、影视剧制作。
AAAI 2025 Oral | 火山引擎多媒体实验室提出VQ-Insight，AIGC视频画质理解大模型
火山引擎多媒体实验室与北大合作论文《VQ-Insight: Teaching VLMs for AI-Generated Video Quality Understanding via Progressive Visual Reinforcement Learning》入选AAAI 2026口头汇报。VQ - Insight用渐进式框架处理AIGC视频画质理解，实验表现卓越。
直接从像素到单词：这个原生大模型统一单图、多图、视频和空间智能
南洋理工大学等团队推出NEO - ov模型，挑战传统「视觉编码器 + 大模型」范式，直接从原始像素学语言。它在多任务表现出色，尤其空间智能突出，但在OCR等方面有短板，展现原生多模态建模潜力。
Emu3.5：能够原生预测下一状态的多模态世界模型，媲美Nano Banana
北京智源研究院推出多模态世界模型Emu3.5，能原生预测视觉和语言下一状态。用超10万亿token数据预训练，后经强化学习训练。团队提出DiDA提升推理效率，其性能媲美Nano Banana，项目已开源。
拍我AI V5模型发布，AI视频的“不可能三角”被解开了？
拍我AI推出V5模型，一上架就到Artificial Analysis榜单前列。它在多维度升级，维持速度和性价比优势，试图解开AI视频生成“不可能三角”。文章实测其运动、二次元、商业等场景表现，还提及速度与价格优势。