「多模态视频生成大模型」共找到 3291 篇相关文章
CVPR 2026 | 1000万段驾驶视频，教会模型如何估计相机位姿
Wayve的LA - Pose研究，不依赖百万级3D标注，从约1000万段未标注驾驶视频自监督学习‘潜在动作’，再用少量3D标注微调，转化为相机位姿估计能力，在多基准上提升精度且泛化能力强。
高精度全身操控！从文本输入生成全身操控物体的动作
物体操控的整体动作生成是具广泛应用但极具挑战的任务，核心挑战在于手部与身体协调及关节式物体操控精度。香港大学提出协同扩散噪声优化框架CoDA，优化三个专用扩散模型，还采用BPS统一表示提高交互精度。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
告别「边画边说」：LatentMorph 开启视觉生成隐式潜空间推理新范式
现有的文生图模型缺乏动态思考与自我修正能力，香港科技大学团队提出LatentMorph框架，将隐式潜空间推理集成到T2I生成过程中，实验显示其显著提升基座模型性能，削减推理延时与Token消耗，实现人机认知对齐。
「世界理解」维度看AI视频生成：Veo3和Sora2水平如何？新基准来了
近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。
架构解耦是统一多模态模型所必须的吗？全新AIA损失：No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须，推出 AIA 损失。研究发现架构解耦未解决任务冲突，AIA 能提升模型性能，减少数据配比问题。
Zendesk：生成式 AI 让代码不再稀缺，研发瓶颈转向“吸收能力”
Zendesk 提出生成式 AI 改变软件交付核心制约因素，从编写代码转为‘吸收能力’。文章阐述该概念，提出四项应对措施，还指出 AI 对不同系统的影响，深化了编码非瓶颈的观点。
EmbodiChain开源，用100%生成式数据自动训练具身智能模型
跨维智能开源EmbodiChain，它是通往GS - World的基石，重构具身智能学习范式。其以100%生成式仿真数据训练机器人，突破数据瓶颈，还对比了不同路线，测试显示其模型效果佳。
英伟达&MIT等推出Long-RL，长视频训练速度翻倍
英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。
ComposeMe：让发型、服饰与身份随心组合的人体图像生成新范式
人像生成中保持效果清晰真实且自由调整细节是难题，Snap推出ComposeMe，引入‘属性特定图像提示’思路，能灵活组合属性。还建立数据集、提出训练方法，虽有局限，但表现较优。