搜索：多模态算法 - AI Reading Hub

「多模态算法」共找到 1451 篇相关文章

ICCV 2025 | 清华&腾讯混元X发现「视觉头」机制：仅5%注意力头负责多模态视觉理解

本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

12月快手旗下可灵发布全球首个统一多模态视频大模型Kling O1，标志AI视频进入“全流程语义控制时代”。它将多种视频创作能力统一，有全能引擎等五大亮点，性能对比优势明显，让AI视频生成更可控。

NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。

上海交通大学和上海人工智能实验室研究团队带来MM - HELIX，这是完整生态体系，赋予AI长链反思性推理能力。其含基准测试、数据集、优化算法，搭载相关技术的模型表现优异，部分成果已开源。

香港科技大学联合团队提出 ROVER 算法，跳过传统强化学习推理的策略迭代循环。它在多项数学推理基准上超越现有方法，在高难度任务中大幅提高 pass@1 和 pass@256，且提升推理多样性，更轻量。

7月26日，上海AI实验室在WAIC 2025上发布并开源科学多模态大模型Intern-S1。它融合多学科知识，首创跨模态科学解析引擎，在多学科任务上超越顶尖闭源模型，还支撑构建了多智能体系统。

9月23日，「第四届琶洲算法大赛大模型前沿技术分论坛暨琶洲模方孵化项目展示」举办。活动汇聚各界精英，展示琶洲AI产业化成果。清智·琶洲模方首批孵化成果亮相，还有主题演讲、签约仪式等，最后AI问辩将气氛推向高潮。

腾讯发布 SpecExit 算法，将思考早停与投机采样融合，利用轻量级草稿模型预测“退出信号”，在不引入额外探测开销的前提下，实现动态、可靠的思考早停，在 vLLM 上推理端到端加速 2.5 倍，准确性和推理效率得到双重保障。

上海交通大学等团队构建v-HUB评测基准，分析多模态大模型视频幽默理解能力。评测7个前沿模型发现，模型依赖文字、主动发现笑点能力弱，声音作用有限，还需考虑隐形线索。