「科学多模态大模型」共找到 8028 篇相关文章
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
深度解析大模型技术演进脉络：RAG、Agent与多模态的实战经验与未来图景
大模型作为产业变革核心引擎，RAG、Agent与多模态技术重塑AI与现实交互边界。本文解析技术演进脉络、实战经验与未来图景，介绍三者在各领域应用及面临挑战，为产业升级提供指引。
谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源
谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。
美团提出全新多模态统一大模型STAR，GenEval突破0.91，破解“理解-生成”零和困局
近日美团推出多模态统一大模型 STAR，以“堆叠自回归架构 + 任务递进训练”实现理解与生成双重突破。它解决行业痛点，通过三大核心设计统一能力，实验在多任务中表现顶尖，还给出后续探索方向。
大模型下半场，阶跃凭什么领跑多模态之战
国内大模型竞争分资源派、技术派、国家队三阵营，多模态成竞争分水岭。阶跃星辰成立两年发22款自研基座模型，16款为多模态。其坚持理解生成一体化路线，在多模态领域有优势，还布局多应用场景。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
为防AI刷题，Nature等顶刊最新封面被做成数据集，考验模型科学推理能力|上海交通大学
上海交通大学王德泉教授课题组提出MAC基准，用顶级期刊最新封面构建测试集，评测多模态大模型能力。研究设计两种含“语义陷阱”的测试任务，发现顶尖模型有局限，还提出DAD方法提升表现，采用双重动态机制。
GPT-4V仅达Level-2？全球首个多模态通才段位排行榜发布，General-Level打造多模态通用AI评测新范式
General-Level团队提出全新评测框架General-Level和数据集General-Bench，构建超大规模评测基准和多模态通才模型排行榜。其用五级段位体系衡量模型通才能力，General-Bench覆盖多模态任务，排行榜分多层次榜单，目前各模型段位差异大，Level-5空缺。