搜索：多模态视频大模型

「多模态视频大模型」共找到 8238 篇相关文章

昆仑万维多模态视频生成开源，影音图文全统一

昆仑万维开源的SkyReels-V3，通过统一多模态上下文学习框架，实现参考图像生成视频、视频持续扩展及音频驱动虚拟数字人功能，在视觉质量与指令跟随性上逼近闭源顶尖水平，为开源社区提供强大研究基座。

现有视频世界模型存在“静态世界假设”，物体离开视野后状态不再更新。阿德莱德大学等研究者提出 LiveWorld，将世界演化与观察渲染解耦，使事件在视野外持续推进，并通过实验验证其有效性。

春节期间 Seedance 2.0 爆火，字节跳动等开源视频模型 Helios 家族，参数量 14B，单卡生成速度达 19.5 FPS。它与 UniWorld-OSP2.0 技术栈同源，后者是超百亿级视频生成大模型，有诸多技术突破。

香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。

多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法，在不影响性能前提下降低推理成本，适用于多场景。

北大卢宗青作为具身大脑创业者，认为现阶段世界模型和 VLA 未触及本质。他指出互联网视频数据是唯一可规模化的道路，其创立的「智在无界」正标注互联网视频中人类关节动作让模型学习。

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。

多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。

面壁智能开源MiniCPM-V 4.5多模态端侧模型，8B参数越级反超72B巨无霸，在多领域达SOTA。它首创高刷视频理解，性能强、效率高、适合端侧部署，还实现多技术创新，是开源端侧多模态AI的革命。

DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。