搜索：多模态文档处理

「多模态文档处理」共找到 2012 篇相关文章

单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器

人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。

格灵深瞳等团队联合发布通用多模态嵌入新框架UniME，刷新MMEB训练榜纪录。它是两阶段框架，经文本判别知识蒸馏和困难负样本增强指令微调，在多任务达SOTA，项目已开源。

现在多模态生成模型在复杂指令和下游任务表现不佳。上海人工智能实验室等团队提出GEMS，将OpenClaw成功应用于多模态生成领域，激发小模型潜力，让6B小模型部分任务超越Nano Banana 2。

Mistral 发布 OCR 3，在多种文档类型上精度更高，超越前一代产品。能提取文本、识别图像并保留文档结构，输出 Markdown 格式。早期用户认可其性能和多语言支持，生产部署扩展快，价格有优势。

多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。

快手发布新版多模态大模型Keye-VL-2.0-30B-A3B，率先将DSA机制引入多模态理解场景，解锁256K超长上下文深度感知，还首次解锁Agent协作机制。该模型在多方面表现出色，且将融入业务带来收益。

多模态奖励模型对提升多模态大语言模型表现至关重要，但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward，在基准上比 SOTA 提升 5% - 15%，还在快手业务场景成功应用。

自动化修复软件缺陷是长期目标，多模态问题修复受关注。慕尼黑工业大学团队提出GUIRepair，融合APR与GUI Testing知识，登上SWE - bench Multimodal榜单第一，为多模态软件自动修复开辟新路。

dots.ocr是多语言开源文档解析器，把布局检测和内容识别统一在视觉语言模型中，虽LLM仅1.7B参数，却达SOTA性能。介绍了其预训练三阶段及SFT阶段关键策略。

上海人工智能实验室等多机构推出多模态生成与理解统一模型Lumina - DiMOO，采用全离散扩散架构。它解决传统多模态架构问题，有全离散扩散建模等四大创新，性能在多基准测试中领先，应用前景广。