搜索：多模态文档处理

「多模态文档处理」共找到 2012 篇相关文章

The Batch: 939 ｜在推理阶段学习长上下文

大型语言模型处理长上下文时通常准确性降低、速度变慢，研究人员提出TTT - E2E方法，通过推理时训练模型将上下文压缩到transformer权重中，还展示了其运作方式、测试结果等。

北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。

在NLP领域，处理长文本时传统注意力机制效率低。DeepSeek团队推出DeepSeek-V3.2-Exp模型，引入稀疏注意力机制，在保持性能同时提高长文本处理效率，降低计算复杂度，在多基准测试中表现良好。

S-Lab等机构研究员提出Puffin统一多模态模型，它能整合理解相机参数与按参数生成对应视角图片的能力。通过“用相机思考”和400万组数据训练，解决此前模型问题，还构建相关数据集和评测基准，性能出色。

OpenAI和Google等大厂联手推出 `AGENTS.md` 标准，旨在用统一文档取代厂家特定配置文件，为AI Agent提供通用‘项目说明书’。它收录AI完成任务所需技术细节，支持嵌套，还倒逼开发者规范文档协作。

阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。

7月26日深夜，奥特曼称用手机让ChatGPT安排长周末旅行，指令跑完了。ChatGPT Work能力强，能处理多种任务，横跨检索、建站等活儿。其底层是Codex技术，有插件、Sites等能力，还能处理家务。

7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。

多模态有害信息检测是网络内容安全治理的重难点，多模态模型在有害内容检测上有瓶颈。剑桥大学团队提出RA - HMD框架，通过两阶段微调与结构增强，结合检索增强，提升检测性能，被EMNLP 2025接收。

尽管LLMs和VLMs在视频分析和长语境处理有进展，但处理数小时长视频有局限。微软提出智能体Deep Video Discovery (DVD)，以简洁框架在LVBench取得高准确率，将以MCP Server形式开源。