搜索：视频大语言模型

「视频大语言模型」共找到 8227 篇相关文章

OVI：统一的音视频生成模型，声音与画面同步诞生

音视频生成领域以往多阶段架构易致音画不同步等问题。耶鲁大学团队提出 OVI 统一范式，采用双塔 DiT 架构与分块式跨模态融合机制，实现音画同步生成，不过目前有计算开销大、音频有局限等问题。

昆仑万维开源的SkyReels-V3，通过统一多模态上下文学习框架，实现参考图像生成视频、视频持续扩展及音频驱动虚拟数字人功能，在视觉质量与指令跟随性上逼近闭源顶尖水平，为开源社区提供强大研究基座。

超对称公司发布新版基座模型 BigBang - Proton，实现多学科问题与 LLM 统一预训练和推理，挑战主流 AGI 技术路线。它有三项创新，在多专业学科任务表现出色，还提出宇宙尺度压缩构想。

Wayve的LA - Pose研究，不依赖百万级3D标注，从约1000万段未标注驾驶视频自监督学习‘潜在动作’，再用少量3D标注微调，转化为相机位姿估计能力，在多基准上提升精度且泛化能力强。

蚂蚁集团旗下蚂蚁灵波发布并开源通用世界模型 LingBot-World，全面开源代码和权重，不绑定硬件或平台。它在多维度有突破，虽有细节瑕疵，但单次生成近 10 分钟连贯视频或刷新纪录，还在 VBench 测试领先。

Google发布Gemini Embedding 2，首个原生多模态嵌入模型。能处理文本、图像等多种媒体类型，支持交错输入，覆盖超100种语言。与多模型串联方案比，延迟降70%、召回率升20%。已可在Gemini API等使用。

传统3D动画制作依赖骨骼绑定与关键帧编辑，成本高。现有自动化方法有局限。北京航空航天大学团队提出AnimaX框架，结合视频扩散模型与骨骼动画优势，支持任意骨骼拓扑，生成动画质量高、速度快，泛化能力强。

训练生成模型复杂，传统扩散模型训练费时费力。何恺明团队提出「漂移模型」新范式，不依赖微分方程，支持一步推理，实验验证其在多领域性能佳，有望解决生成式AI质量与效率权衡问题。

传统观点认为大型语言模型预训练应过滤“坏数据”，但论文《When Bad Data Leads to Good Models》提出反直觉观点，适度加入有毒数据，通过后训练技术可降低模型毒性，保持一般能力，挑战常规做法。

Meta提出StepWiser解决大语言模型推理逻辑正确性问题。它训练生成式评判模型，通过强化学习在线训练，能解释推理步骤好坏。实验显示其远超传统方法，为构建可靠AI系统提供新思路。