搜索：科学多模态大模型

「科学多模态大模型」共找到 8036 篇相关文章

CVPR 2025 | 多模态统一学习新范式来了，数据、模型、代码全部开源

中国人民大学、清华和腾讯合作的CVPR 2025论文指出，当前多模态学习范式有缺陷。为此提出新范式，构建AV - UIE数据集、Crab框架，实现任务互助，在多任务上超垂类专家模型，数据、模型、代码开源。

传统多模态模型在动态视频理解与复杂推理场景面临挑战，快手开源的 Keye-VL 模型在多模态思维链技术实现突破。文章解析其核心技术，分享在快手短视频社区的落地应用，还探讨了未来“Think with Video”的技术方向。

5月16日，腾讯发布混元图像2.0模型，率先实现实时生图，生图速度快、质量高，能避免‘AI味’。在GenEval基准上准确率超95%，还发布实时绘画板功能，后续将推原生多模态模型。

清华朱军等团队提出多模态生成框架 UniCardio，在单扩散模型中实现心血管信号去噪、插补与跨模态生成。它采用扩散模型和 Transformer 架构，结合持续学习范式，实验表现优，有望用于多领域。

阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。

字节跳动推出开源多模态基础模型BAGEL，有70亿活跃参数。它在多模态理解排行榜超顶尖开源模型，文本到图像质量与SD3媲美，还具备世界建模等能力，文中介绍其方法、特性及使用说明。

上海科技大学何旭明团队针对多模态模型幻觉问题，提出DA-DPO框架。该方法不依赖额外人工标注，通过动态调整样本权重，缓解简单样本偏置，在降低幻觉率同时提升综合能力，具成本效益。

S-Lab等机构研究员提出Puffin统一多模态模型，它能整合理解相机参数与按参数生成对应视角图片的能力。通过“用相机思考”和400万组数据训练，解决此前模型问题，还构建相关数据集和评测基准，性能出色。

李飞飞创办的 World Labs 发布多模态世界模型 Atlas，可原生处理多类型数据，有世界生成、重建和模拟等能力。还介绍其研发历程、技术特点，以及 World Labs 收购、融资等情况。

字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。