「多模态理解」共找到 1571 篇相关文章
仅2G内存可跑，刚刚，谷歌开源Gemma 3n，端侧原生多模态！
谷歌全面发布Gemma 3n，将多模态AI功能带入边缘设备并在Hugging Face开源。它原生支持多模态输入输出，针对设备端优化，内存占用低，采用开创性架构，Gemma系列质量也不断突破。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
开源即屠榜！UniME多模态框架登顶MMEB全球训练榜，刷新多项SOTA纪录
格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。
万帧？单卡！智源研究院开源轻量级超长视频理解模型Video-XL-2
长视频理解是多模态大模型关键能力，当前开源模型有短板。智源研究院联合发布 Video-XL-2，多维度优化长视频理解能力，还设计效率优化策略，在主流评测基准表现出色，有广泛应用潜力。
OpenClaw的风刮到了多模态生成，6B小模型超越Nano Banana 2！
现在多模态生成模型在复杂指令和下游任务表现不佳。上海人工智能实验室等团队提出GEMS，将OpenClaw成功应用于多模态生成领域，激发小模型潜力，让6B小模型部分任务超越Nano Banana 2。
数据邪修大法好：仅用文本数据就能预训练多模态大模型
多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。
快手&中科院 | 提出多模态奖励模型：R1-Reward，比SOTA模型提升5%-15%！
多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。
让大模型理解真实医疗视频，全球首个开源技术方案来了！
AI 进入医疗领域需谨慎，此前美国引入不成熟 AI 致手术失误频发。全球首个医疗视频理解大模型元智医疗视频理解大模型发布并开源，解决了医疗视频领域的任务优化、数据缺失和无法评测痛点。
科学能力太强，这个多模态推理「六边形战士」被严重低估！Intern-S1开源登顶
7月26日，上海AI实验室发布并开源「书生」科学多模态大模型Intern-S1，其多模态能力全球开源第一，文本能力比肩一流，科学能力国际领先。它开创「通专融合」新范式，重构科研生产力，引发国际关注。
答案正确，推理就可靠吗？V-Rubrics用35万条细粒度准则细化多模态强化学习奖励
本文介绍南洋理工大学等机构研究团队提出的V-Rubrics方法，解决多模态推理中结果正确但推理错误的奖励分配误区，通过35万条细粒度准则拆分奖励计算，有效提升模型性能，论文已被EMNLP 2026主会接收，代码与数据已开源。