搜索：统一多模态模型

「统一多模态模型」共找到 8034 篇相关文章

多模态大模型别盲目刷题！诊断-生成-强化闭环，找准盲点 | ICML'26

多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。

近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。

BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。

电商团队常面临创作流程繁琐问题，当前行业需统一架构。昆仑万维发布Skywork UniPic 2.0，整合理解、生成、编辑功能。它参数小性能优，还构建奖励模型，配合其他模型构建体系，具成本等优势。

多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法，在不影响性能前提下降低推理成本，适用于多场景。

商汤科技正式发布并开源商汤日日新SenseNova U1系列原生理解生成统一模型，基于NEO - unify架构，实现模态集成向原生统一跨越，其轻量版在多项测试达同量级开源SOTA，还能连续性图文创作。

多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。

DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。

阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。

北京智源人工智能研究院的悟界·Emu3.5是最新最强的开源原生多模态世界模型，能处理图、文、视频任务，在多项权威基准上性能亮眼，还具备理解长时序等能力，背后有技术创新，且选择开源。