搜索：多模态视觉理解模型

「多模态视觉理解模型」共找到 1928 篇相关文章

32倍加速，58秒搞定720p视频！字节发布离散自回归框架，统一视觉生成和长视频生成

字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。

上海交通大学和上海人工智能实验室研究团队带来MM - HELIX，这是完整生态体系，赋予AI长链反思性推理能力。其含基准测试、数据集、优化算法，搭载相关技术的模型表现优异，部分成果已开源。

Everywhere是两个学生辍学开发的开源交互式AI助手，能感知屏幕内容，在任意界面使用。它功能多、细节优，支持多场景，集成多种AI模型，使用简单，还提供个性化体验。

半结构化表格布局多样、结构复杂，让自动化数据处理困难。上海交大等团队发布 ST - Raptor 框架，提出 HO - Tree 数据结构及树上操作，构建 SSTQA 数据集，提升表格问答准确率，弥补大模型处理短板。

紫东太初团队联合新加坡国立大学攻克大模型检索难题，其ReCALL框架以‘诊断 - 生成 - 校准’闭环体系解决范式冲突，让大模型变身高效检索器，成果被CVPR 2026录用，刷新SOTA性能。

量子位智库对话remio创始人汪源，探讨其开发初衷、核心价值等。remio主打无感自动化，成用户第二大脑，有信息捕获、管理等功能，数据本地存保隐私。还聊了目标用户、指标、功能及应对竞争等。

北大联合南科大团队提出全新 3D 位置嵌入方法 QuatRoPE，改善大语言模型 3D 空间推理痛点。还提出 IGRE 降低干扰，构建 ASR 基准评估能力。研究被 CVPR 2026 接收，代码与模型已开源。

北大团队提出 INP - CC 模型重塑开放词汇 HOI 检测。它提出交互感知提示生成和概念校准两项创新，结合输入图片特性构造提示集合，引入‘困难负样本采样’策略，在两大数据集上表现超 SOTA。

文章深度解读阿里通义实验室发布的Qwen3-VL-Seg，它解决开放世界指代分割问题，用仅17M参数（占基础模型0.4%）在4B规模超越8B模型。介绍其原理、架构、数据、实验结果，还给出实战代码。

随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。