「多模态MoE模型」共找到 7903 篇相关文章
谷歌开源Gemma 3n：2G内存就能跑，100亿参数内最强多模态模型
本周五凌晨，谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性，核心是 MatFormer 架构，还采用了 PLE 技术等，在多方面实现质量提升。
国产多模态Agent拿下医学分割SOTA！不用改模型、不加token | 浙大&上海AI Lab
现有医学多模态大模型在分割生物医学图像时存在瓶颈，浙大蔡钰祥教授、上海AI Lab江彦开等人提出IBISAgent框架，将分割定义为多步视觉决策过程，实验显示其在多数据集上大幅领先对比方法。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
X-SAM：从「分割一切」到「任意分割」：统一图像分割多模态大模型，在20+个图像分割数据集上均达SoTA
中山大学、鹏城实验室、美团联合提出X - SAM，统一图像分割多模态大模型。它将分割范式扩展，设计通用输入输出，采用端到端架构和三阶段训练策略，在超20个数据集达最优，为图像分割研究开辟新方向。
颜水成领衔，给AI分段位！超100款多模态模型，无人达到L5
十所顶尖高校联合发布General - Level评估框架和General - Bench基准数据集，用五级分类制明确多模态通才模型能力标准。评估超100款模型，发现多数在L2 - L3，无L5模型，揭示当前模型不足。
用MoE打造DNA基础模型更强范式！人大实现seq2func全新突破
中国人民大学团队提出SPACE模型，通过引入物种感知编码器和谱系分组增强解码器，革新架构，提升了DNA基础模型性能与泛化能力，在多项测试中表现优于主流模型。
华为盘古大模型:被芯片牵制的“千古”模型
华为盘古大模型团队员工自曝内幕，称其受芯片限制，早期算力有限、训练困难。还指出内部存在造假、套壳等问题，如135B V2套壳Qwen 1.5 110B，pangu pro moe 72B套壳qwen 2.5的14b等，导致人才流失。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
智源悟界 · Emu3.5 重塑世界模型格局：首提多模态 Scaling 范式，AI 理解世界再进化
北京智源研究院发布大规模多模态世界模型“悟界·Emu3.5”，它能模拟复杂动态物理世界，揭示“多模态Scaling范式”。该模型继承深化Emu3技术哲学，在多方面有提升，为世界模型领域提供进化路线。
景不动人动，MLLM如何面对「移步换景」的真实世界？OST-Bench揭示多模态大模型在线时空理解短板
上海多所高校研究者提出 OST - Bench，从智能体探索场景动态在线视角挑战大模型能力。它更贴近真实世界，揭示主流多模态大模型在线时空理解短板，为未来模型发展指明方向。