推荐文章7

格灵深瞳：多模态视频理解与产品落地新突破

InfoQ2026-05-20

AI 摘要

格灵深瞳灵感实验室冯子勇等表示，传统视频模型抽帧处理浪费大，LLaVA - OneVision - 2.0突破长视频理解瓶颈。还推出“视觉智能工坊”，分三阶段落地非标需求，用大小模型结合控成本。

关注公众号

扫码关注
第一时间收到每日精选

公众号专辑

谷歌Gemini 3.8来袭，AI混战升级

最新爆料，Gemini 3.8 Flash明日登场，谷歌已放弃Gemini 3.5 Pro。其编程实力强悍，之前还为Gemini植入智能体视频理解功能，降本提效，可应对多种高难度场景。近期多家AI发布计划撞车，混战升级。

多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。

平时找视频信息效率低，而开源项目让Claude等大模型 “看懂” 视频，能提取画面、音频并理解内容。介绍了其工作原理、帧预算、去重、细节模式等，安装使用门槛低，还给出了应用场景和项目地址。

随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。