搜索：多模态长文档问答

「多模态长文档问答」共找到 1302 篇相关文章

工具增强的多模态LLM综述

多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。

腾讯混元Hy4 preview正式发布并开源，参数770B，是开源阵营里参数最大的Apache 2.0模型。它能处理长文本，官方定位有软件工程、办公分析等四个方向。还分析了处理一页文档的成本，指出办公AI下半场重在‘读懂’。

InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。

智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。

华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。

一份OpenAI内部机密战略文档流出，揭露ChatGPT 2025年上半年核心战略，包括向「超级助手」转型，将对手分两类，还提及2025战略重点，不过最大对手信息被打码，引发网友猜测。

随着AI大模型发展，OCR重新成为技术专项，DeepSeek、智谱、阿里千问和腾讯混元等都在研究。吴恩达开新课，提出智能体文档提取（ADE）方案，准确率达99.15%，还给出本地和云端部署线路。

多跳问答（MHQA）任务有挑战，现有方法依赖LLM，计算成本高、延迟显著。TreeHop研究提出新方案，摒弃LLM，通过嵌入空间动态更新，降低延迟、减少模型参数量，还在主流数据集表现佳，适合工业应用。

新加坡国立大学 Show Lab 团队主导研究，提出 Paper2Video 基准及评价指标，还推出 PaperTalker 多智体框架实现学术视频自动化生产，实验显示其在多方面表现佳，效果接近人工水平。

未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。