搜索：多模态视频推荐

「多模态视频推荐」共找到 2088 篇相关文章

V-RAE：把「看懂视频」的能力带入生成，重新思考视频模型的潜空间

近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文中提出视频表征自编码器 V-RAE。它以冻结的视觉基础模型为编码器压缩视频特征，还引入轻量级模块聚合信息。经实验验证，其在视频生成和预测上性能出色。

Gemini CLI 迎来重磅更新，带来多项改进。新增音视频输入（暂未正式开启）、增强 Markdown 功能，集成 VSCodium 和 Neovim，技术栈升级至 Ink 6 和 React 19，还有主题更新、隐私管理等优化。

视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。

字节Seed发布全新多模态智能体框架M3 - Agent，能听会看、有长期记忆且免费开源。团队还开发新长视频问答基准M3 - Bench并开源。实验显示，M3 - Agent在多基准测试中显著优于基线模型。

香港中文大学MMLab与美团研究团队开源OneThinker模型，它可覆盖图像与视频十类核心视觉任务，在31项测试中表现出色，还展现泛化能力。研究团队搭建数据集，并引入EMA - GRPO算法提升训练稳定性。

AI视频生成迈入音视频同步新纪元，闭源巨头已展实力，而上海创智学院与Sand.ai联合发布的开源音视频生成基础模型daVinci - MagiHuman，以极简单流架构，2秒就能在1张H100显卡上生成精准音视频同步画面。

昨夜阿里发布14B视频模型Wan2.2 - S2V，仅需一张图片和一段音频，就能生成电影级数字人视频。该模型发布即开源，可在通义万相官网免费体验，单次生成时长可达分钟级。

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。

今天凌晨，谷歌官宣Gemma 3n，原生支持多模态。它在大模型竞技场超1300分，是首个超此分数的10B以下模型。其VRAM占用低，最低2GB，已在谷歌AI Studio等可用，还公开了技术细节。

南洋理工大学等团队推出NEO - ov模型，挑战传统「视觉编码器 + 大模型」范式，直接从原始像素学语言。它在多任务表现出色，尤其空间智能突出，但在OCR等方面有短板，展现原生多模态建模潜力。