搜索：原生多模态推理

「原生多模态推理」共找到 3072 篇相关文章

理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA

统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。

阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。

文章聚焦多模态长文档视觉问答，介绍现有LVLM - based和RAG - based技术路线及困境。提出MMRAG - DocQA方案，引入‘分层索引 + 多粒度检索’，设计双索引建模相关性与依赖，用互补策略实现证据互补。

本文以 DeepSeek 对话机器人为例，介绍 AI 原生应用架构可观测需求、挑战与方案实践。分析 AI 领域痛点，提出阿里云 AI 全栈可观测架构，剖析大模型应用可观测技术，分享实战案例，还给出未来规划。

4月30日DeepSeek发布多模态论文，核心是“视觉原语”，让模型边推理边输出坐标。它是七大coding agent玩家中最后接入视觉的，但补课方式反共识，不堆分辨率堆指代精度，效率高，拓扑推理成绩领先。

北京智源人工智能研究院的悟界·Emu3.5是最新最强的开源原生多模态世界模型，能处理图、文、视频任务，在多项权威基准上性能亮眼，还具备理解长时序等能力，背后有技术创新，且选择开源。

OpenAI发布GPT - 5.4，全面反击Gemini 3.1 Pro和Claude Opus 4.6。它是首个有「原生电脑使用」能力的通用模型，各维度无短板，成绩炸裂，定价也创新高。

美国东北大学等提出BEAR基准评估MLLM具身智能子能力，用4496道题测试20个模型。发现多模态大模型具身能力不足，还分析错因，开发BEAR - Agent提升模型具身推理能力，在仿真测试中效果显著。

阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。

多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。