「长视频理解」共找到 2144 篇相关文章
全球AI视频大战升级！「中国版Sora」Vidu Q2参考生月底发布，能力对标Sora 2
OpenAI的Sora 2引发全球AI视频狂欢，而国产AI视频Vidu将在本月底升级Vidu Q2参考生功能。Vidu起步更早、覆盖广，在一致性、运镜理解、动作连贯等维度优势明显，月底升级值得期待。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
「世界理解」维度看AI视频生成：Veo3和Sora2水平如何？新基准来了
近年来，T2V模型进展显著，Sora2爆火引发对其是否为‘世界模型’的探讨。传统基准无法系统衡量模型对事件因果等的理解，中山大学等团队提出新评测框架VideoVerse，评测主流模型并发现开源与闭源模型差距及各模型缺陷。
AAAI｜东方理工陈云天等：教会视频扩散模型“理解科学现象”，从初始帧生成整个物理演化
东方理工陈云天等团队在论文中提出让视频扩散模型学习“潜在科学知识”的框架，方法分三步，在流体和台风数据实验中表现超主流方法，展示生成式AI在科学建模的探索。
蚂蚁发布全球首个视频-动作世界模型，开源即刷新世界纪录
从Sora惊艳亮相到谷歌开放Genie 3线上体验，世界模型从概念走向交互世界。蚂蚁旗下蚂蚁灵波开源全球首个视频 - 动作世界模型LingBot - VA，可驱动机器人完成复杂操作，解决长时漂移等问题，还提出工程化解法。
登顶行业SOTA的多模态视频生成标杆，昆仑天工刚给开源了
昆仑天工发布的多模态视频生成模型SkyReels-V3正式开源。它能文生视频、图生视频等，效果逼真。该模型针对现有AI视频问题实现多方面技术突破，且昆仑天工在模型和产品层面均有深厚积累。
实测可灵O1，AI视频界的Banana也来了。
可灵推出全新多模态视频大模型可灵O1，融合多种视频生成与修改能力。实测显示，它能实现视频内容增删、特定内容修改、扣绿幕、动作迁移、风格更改等功能，虽有局限，但开启用嘴改视频新时代。
AI秒懂短视频，快手大模型Keye-VL理解力爆表！技术细节全开源
快手全新多模态大语言模型Kwai Keye-VL上线且开源，能深度融合多模态信息，在视频理解、复杂视觉感知和逻辑推理上表现优异。介绍了其技术架构、预训练和后训练策略及训练架构优化等内容。
让AI像人类一样认知真实世界！UCLA谷歌强强联手，长时记忆+3D空间理解超越基线16.5%
如何让AI在3D环境中像人类一样思考，是具身智能领域难题。UCLA与谷歌团队带来3DLLM - MEM模型与3DMEM - BENCH基准，让AI有构建、维护和利用长时记忆能力，实验超基线16.5%，但有依赖模拟器预设的局限。
多模态大模型理解物理工具吗？PhysToolBench提出了衡量多模态大模型对物理工具理解的基准
香港科技大学等团队提出 PhysToolBench，用于衡量多模态大模型对物理工具的理解。它将理解分为三个等级，测试 32 个模型，揭示了大模型在工具理解上的不足，也为未来发展指明方向。