搜索：多模态知识获取

「多模态知识获取」共找到 1505 篇相关文章

We-Math 2.0：全新多模态数学推理数据集 × 首个综合数学知识体系

北京邮电大学、腾讯微信、清华大学团队提出We - Math 2.0，含知识体系、数据集及训练策略，可提升模型数学推理泛化能力。该成果在X上获关注，登Huggingface Paper日榜第一。

中国人民大学、清华和腾讯合作的CVPR 2025论文指出，当前多模态学习范式有缺陷。为此提出新范式，构建AV - UIE数据集、Crab框架，实现任务互助，在多任务上超垂类专家模型，数据、模型、代码开源。

多模态大模型跨模态融合带来高计算成本，催生MLLM Token Compression研究。北大等机构人员基于压缩位置对方法系统归类，讨论特定场景压缩机制选择，还探讨了挑战与前景方向。

MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。

香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。

华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。

统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。

新智元报道黄仁勋2.5小时访谈，他透露2 - 3年内90%知识或由AI生成，强调AI尽头是能源，提出通用高收入概念，还分享英伟达危机、童年经历，解答AI意识、失控等问题。

多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。

学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。