搜索：多模态文档处理

「多模态文档处理」共找到 2010 篇相关文章

AI读不懂文档结构？计算所重构Agentic RAG文档推理能力

大语言模型工具使用能力推动RAG进化，现有Agentic Search框架有“结构盲”问题。中科院计算所团队提出DeepRead，将文档结构转化为坐标系统，用两大工具协同实现类人推理，在多数据集验证效果显著。

香港科技大学等团队提出 PhysToolBench，用于衡量多模态大模型对物理工具的理解。它将理解分为三个等级，测试 32 个模型，揭示了大模型在工具理解上的不足，也为未来发展指明方向。

文档视觉编码器对LLM理解和推理很重要。MonkeyOCRv2提出‘重建即文档视觉记忆’，通过多组实验验证其有效性，还发布MonkeyDoc v2数据集，推动公平比较的研究文化。

如今拍视频常出现路人，手动逐帧打码工作量大。开源工具 deface 可自动检测视频/图片中所有人脸，实现一键匿名化处理，还能处理摄像头实时画面，简单易用。

腾讯无极低代码平台提出‘前端多模态智能’概念，让AI输出内容更多样，可嵌入交互页面片。它还给出四步配置法实现‘多模态聊天’，与MCP形成互补，能增强信息交互和用户掌控感。

openJiuwen社区发布业界最早工程化落地的多模态Skill范式Skill-Omni，让Agent经验从‘读得懂’升级为‘看得见’。它能将网页和视频视觉知识沉淀为多模态Skill，还介绍了生成及读取方式和适用任务。

Google发布Gemini Embedding 2，首个原生多模态嵌入模型。能处理文本、图像等多种媒体类型，支持交错输入，覆盖超100种语言。与多模型串联方案比，延迟降70%、召回率升20%。已可在Gemini API等使用。

谷歌推出首个原生多模态嵌入模型Gemini Embedding 2，通过Gemini API和Vertex AI公开预览。它将文本、图像等映射到统一向量空间，支持多模态交错输入，性能超越现有领先模型，开发者可快速接入。

谷歌开源 Python 库 LangExtract，能让 LLM 依用户指令从非结构化文档提取结构化信息。它可处理临床记录等，具备精确源接地、可靠输出等特性，支持多模型，无需微调，适用于各领域。

腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。