搜索：多模态融合 - AI Reading Hub

「多模态融合」共找到 1363 篇相关文章

ICML 2025 Spotlight | 快手、南开联合提出模块化双工注意力机制，显著提升多模态大模型情感理解能力！

情智兼备是人工智能发展方向，但多模态情感数据语义复杂，建模跨模态关联是挑战。快手可灵团队与南开提出模块化双工注意力范式，构建‘摩达’模型，在多任务测试中性能提升，成果被 ICML 2025 收录。

今年是AI应用大规模落地年，参数小的端侧模型有特定场景性能优势。5月11日面壁智能开源MiniCPM-V 4.6，参数仅约1B，多模态能力超阿里、谷歌同类模型，还在多维度提升，站稳端侧多模态开源领域。

上海大学曾丹团队联合南开揭示Vision - Language Models中普遍的attention偏置问题，提出无需重训的去偏方法，在多模型、策略及基准上验证有效性，为多模态模型部署提供新思路。

本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。

上海交通大学等团队构建v-HUB评测基准，分析多模态大模型视频幽默理解能力。评测7个前沿模型发现，模型依赖文字、主动发现笑点能力弱，声音作用有限，还需考虑隐形线索。

来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。

华中科技大学与小米汽车提出多模态图像 - 点云联合生成框架Genesis，采用两阶段架构和DataCrafter模块。在nuScenes数据集实验显示，其在视频与激光雷达指标达SOTA水平，还提升了下游感知任务效果。

虎牙推出实时多模态数字人VAM 1.0，只需一张照片就能转化成能说会唱、可实时互动的数字人。它解决了AI数字人行业的时间、交互、部署三堵墙，稳定性、交互精度和响应速度表现出色，应用场景广泛。