搜索：多模态处理 - AI Reading Hub

「多模态处理」共找到 1791 篇相关文章

一张4090就能爆改！面壁智能MiniCPM-V 4.6开源，1B多模态卷出新高度

今年是AI应用大规模落地年，参数小的端侧模型有特定场景性能优势。5月11日面壁智能开源MiniCPM-V 4.6，参数仅约1B，多模态能力超阿里、谷歌同类模型，还在多维度提升，站稳端侧多模态开源领域。

上海大学曾丹团队联合南开揭示Vision - Language Models中普遍的attention偏置问题，提出无需重训的去偏方法，在多模型、策略及基准上验证有效性，为多模态模型部署提供新思路。

本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。

文章介绍Nanonets - OCR - s可处理关键信息提取、视觉问答等7项任务，具备LaTeX方程识别、图像描述等6项能力，还给出体验链接。但测试发现英文体验优于中文，模型有重复输出、幻觉严重问题。

Google DeepMind发布AI模型AlphaGenome，可预测遗传变异对基因调控的影响。它能处理百万碱基对，结合关键技术，性能顶尖，还能直接建模RNA剪接点，已面向非商业研究开放，引发医疗AI应用讨论。

12月快手旗下可灵发布全球首个统一多模态视频大模型Kling O1，标志AI视频进入“全流程语义控制时代”。它将多种视频创作能力统一，有全能引擎等五大亮点，性能对比优势明显，让AI视频生成更可控。

NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。

本文是对IEEE首位华人主席刘国瑞的访谈。他分享了科研、创业经历，谈到AI先驱多源自信号处理，鼓励年轻人追梦，还探讨了科研模式、合成数据、AI应用及未来生活图景等话题。

7月26日，上海AI实验室在WAIC 2025上发布并开源科学多模态大模型Intern-S1。它融合多学科知识，首创跨模态科学解析引擎，在多学科任务上超越顶尖闭源模型，还支撑构建了多智能体系统。

上海交通大学等团队构建v-HUB评测基准，分析多模态大模型视频幽默理解能力。评测7个前沿模型发现，模型依赖文字、主动发现笑点能力弱，声音作用有限，还需考虑隐形线索。