搜索：多模态文档处理

「多模态文档处理」共找到 2012 篇相关文章

SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高

学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。

AI 应用普及，企业常将不同格式文档喂给大模型，但转换工具存在诸多问题。Firecrawl 团队的开源项目 anydoc 支持 14 种格式统一转 Markdown，速度快、输出一致，还有浏览器版本保障隐私，提供多种编程接口。

现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。

处理PDF时，若全用OCR成本和延迟会增加，直接提取文本又易遇乱序、乱码等问题。Firecrawl开源的pdf - inspector工具能智能区分扫描版和文本版PDF，按需使用OCR，精准处理。

阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。

清华朱军等团队提出多模态生成框架 UniCardio，在单扩散模型中实现心血管信号去噪、插补与跨模态生成。它采用扩散模型和 Transformer 架构，结合持续学习范式，实验表现优，有望用于多领域。

清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。

中国科学院计算技术研究所团队提出文本-视觉-语音多模态大模型Stream-Omni，能支持多种模态组合交互。它对各模态关系针对性建模，实现高效灵活的模态对齐，仅用少量语音数据就有多种交互能力。

文章深入解读RAG 2.0，指出其虽在多行业落地，但面临多模态处理、检索质量等挑战。还介绍架构升级，阐述检索、重排序等关键技术，最后探讨统一多模态大模型、安全等发展方向及挑战。

昨夜阿里推出全新多模态模型Qwen-VLo，在原有能力上全面升级，有细节捕捉、图像编辑、多语言支持等亮点，不受固定格式限制。官方demo展示多种玩法，目前免费可玩，实测其编辑能力不错。