搜索：多模态生成与理解统一

「多模态生成与理解统一」共找到 3413 篇相关文章

多模态幻觉的病因「高熵节点」找到了！全基准幻觉率下降

多模态大推理模型的幻觉常出现在生成转折词时，此时模型处于高熵关键节点，易脱离图像证据。研究者提出LEAD，高熵时保留候选推理方向，注入视觉锚点拉回证据，实验显示它能跨领域提升模型性能。

上月，GPT - 4o图像生成功能爆火。Sander Dielman在博客中探讨生成模型利用潜在空间提高效率和质量，将潜在变量比作「数据精髓」，深入对比多种模型，还介绍训练方法、损失函数等，兼具理论深度与直观洞察。

华为诺亚方舟实验室研究入选NeurIPS 2025，其提出视觉感知投机推理（ViSpec）框架，解决草稿模型处理图像信息效率难题，在不牺牲生成质量下，对主流VLM最高达3.22倍推理加速。

大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。

DeepSeek-OCR 2升级，保持前代高效压缩率和解码效率，引入DeepEncoder V2，模仿人类视觉因果流机制，将图像理解转为逻辑推理，在文档解析领域实现逻辑重构，性能显著提升。

作者白杨SEO指出，生成式人工智能发展快，AI搜索优化GEO受关注。介绍了豆包、DeepSeek等多个AI搜索生成内容引用来源，如豆包引用抖音、头条等，DeepSeek用开源数据等，还提及各平台优化要点。

昨夜阿里推出全新多模态模型Qwen-VLo，在原有能力上全面升级，有细节捕捉、图像编辑、多语言支持等亮点，不受固定格式限制。官方demo展示多种玩法，目前免费可玩，实测其编辑能力不错。

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。

Meta的SAM 3能理解语义，实现可提示概念分割。它支持开放词汇、全实例分割等，架构有创新，数据引擎高效。评估显示其性能优异，与MLLM结合成SAM 3 Agent后推理分割能力强，但在专业领域和复杂场景有局限。

科研等领域图表是信息核心载体，先进开源MLLMs在高难度图表理解测试准确率低。本文提出ECD数据集，规模大、质量高、风格多样，还设计合成流水线与评测基准ECDBench，为开源MLLM提供支持。