「多模态视频大模型」共找到 8238 篇相关文章
OVI：统一的音视频生成模型，声音与画面同步诞生
音视频生成领域以往多阶段架构易致音画不同步等问题。耶鲁大学团队提出 OVI 统一范式，采用双塔 DiT 架构与分块式跨模态融合机制，实现音画同步生成，不过目前有计算开销大、音频有局限等问题。
CVPR 2026 | 1000万段驾驶视频，教会模型如何估计相机位姿
Wayve的LA - Pose研究，不依赖百万级3D标注，从约1000万段未标注驾驶视频自监督学习‘潜在动作’，再用少量3D标注微调，转化为相机位姿估计能力，在多基准上提升精度且泛化能力强。
世界模型混战，蚂蚁炸出开源牌
蚂蚁集团旗下蚂蚁灵波发布并开源通用世界模型 LingBot-World，全面开源代码和权重，不绑定硬件或平台。它在多维度有突破，虽有细节瑕疵，但单次生成近 10 分钟连贯视频或刷新纪录，还在 VBench 测试领先。
Google Gemini Embedding2：一个模型处理所有媒体类型
Google发布Gemini Embedding 2，首个原生多模态嵌入模型。能处理文本、图像等多种媒体类型，支持交错输入，覆盖超100种语言。与多模型串联方案比，延迟降70%、召回率升20%。已可在Gemini API等使用。
任意骨骼系统的模型都能驱动？AnimaX提出基于世界模型的3D动画生成新范式
传统3D动画制作依赖骨骼绑定与关键帧编辑，成本高。现有自动化方法有局限。北京航空航天大学团队提出AnimaX框架，结合视频扩散模型与骨骼动画优势，支持任意骨骼拓扑，生成动画质量高、速度快，泛化能力强。
模型「漂移」新范式，何恺明新作让生成模型无须迭代推理
训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。
国产大模型「五强争霸」，决战AGI！
中国基础大模型市场形成「基模五强」格局，包括字节、阿里、阶跃星辰、智谱和DeepSeek。它们要么有钱，要么有人，各有特色与优势。未来竞争焦点是追求更高「智能上限」和突破「多模态能力」，决战AGI。
吴恩达来信：开放模型，开放执行框架，开放安全
吴恩达团队用闭源模型做安全审查遇阻，后改用 OpenWorker 框架结合开源权重模型 Kimi K3 和 GLM 5.2 取得进展。他认为开放模型和执行框架能带来更安全系统，开源权重模型舆论战虽胜，但立法层面未胜。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
黄仁勋CES最新演讲：Rubin 今年上市，计算能力是 Blackwell 5 倍、Cursor 彻底改变英伟达软件开发方式、开源模型落后于先进模型约6个月
英伟达CEO黄仁勋在CES 2026演讲宣告AI从理解语言走向改造物理世界。他提及开源模型发展，还发布多款新品，如AlpaSim仿真框架、GROOT 1.6机器人模型、AI超算Vera Rubin等，凸显英伟达在AI领域的布局与野心。