搜索：超长视频理解

「超长视频理解」共找到 1684 篇相关文章

看遍奥斯卡后，VLM达到电影摄影理解新SOTA｜上海AI Lab开源

上海人工智能实验室等推出ShotBench、ShotVL及ShotQA，ShotBench含超3.5k问答对，ShotQA约7万个问答对。ShotVL在ShotBench评测中表现出色，3B参数的ShotVL-3B增益达19.0%，超越GPT - 4o等。

WhisperVideo是用于长篇幅、多说话人视频的简洁演示系统，专为真实对话构建。它有SAM3视频分割、TalkNet主动说话人检测等功能，具备视觉关联说话人归属等特性，文中还介绍了安装、运行等内容。

北京大学、清华等联合提出统一引擎PAM，能整合姿态、外观和运动。用户提供初始和目标姿态及物体几何形状，它就能生成逼真手物交互视频。其效果超现有方法，合成视频可用于数据增强。

传统向量数据库因高成本和复杂运维让开发者却步。开源项目Memvid将文本数据存入视频文件，能高效检索，解决存储冗余、检索延迟和网络依赖问题，使用简单，虽处概念原型阶段但值得尝试。

阿里妈妈与武汉大学团队发布 MUSE 框架，用于终身用户兴趣建模，能处理 10 万级超长行为序列。还开源 Taobao - MM 数据集。MUSE 可插拔，已在阿里妈妈展示广告精排模型全量上线，提升 CTR 等指标。

马斯克又放大招，Grok即将推出「Imagine」视频功能，能加音效、配画面，支持多风格生成，可把图像转换为视频。它挑战谷歌Veo 3，生成速度快，操作体验好，还支持多方式创作。

北大彭宇新团队提出 NS - Diff，将物理约束与强化学习结合，解决视频生成物理失真问题。它通过多模块提升视频物理真实感，实验表明在多数据集上超现有方法，降低物理运动误差。

北京大学知识计算实验室联合腾讯等机构提出RewardAnything，突破奖励模型瓶颈。它让奖励模型理解自然语言评判原则，降低成本，泛化能力比肩GPT - 4.1，还能用于定制AI行为模式。

小红书AIGC团队提出图像和视频换脸新算法DynamicFace。该算法创新性融合扩散模型与3D人脸先验，解耦身份与运动信息，设计双流注入架构和时序一致性模块，实验证明其在身份保真与运动还原上优势明显。

蚂蚁灵波连续四天开源，此次推出全球首个用于通用机器人控制的因果视频 - 动作世界模型LingBot - VA。它能脑补未来，有记忆不丢失、高效泛化等亮点，架构设计独特，实验效果出色，推动通用机器人走向视频时代。