「多模态文档」共找到 1217 篇相关文章
打破长视频理解瓶颈：HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳，CMU和小红书团队深入研究，首次提出多模态RoPE扩展策略理论评估框架，指出现有泛化能力不足原因，提出HoPE大幅提升VLM长度泛化能力。
Agent性能暴涨90%，刷榜GAIA可太容易了～
今年AI Agent层出不穷，当前研究缺乏统一标准、复现难。oppo Agent团队分享构建高效Agent的关键组件及刷榜GAIA的方法，从事实获取能力和逻辑推理保真度两维度分析，介绍了强化感知和提升思维的策略。
大模型终于能“听懂”云操作了？
本文介绍通过MCP Server和大模型结合实现云产品管理的自然语言操作。作者分享上手体验、探究原理、进行代码验证，解决使用问题，还提出后续优化方向和未来展望，如拆分MCP Server、建立云产品Agent等。
PDF难点解析：处理复杂表格、水印、印章、复选框、信息抽取等7项任务，6大能力
文章介绍Nanonets - OCR - s可处理关键信息提取、视觉问答等7项任务，具备LaTeX方程识别、图像描述等6项能力，还给出体验链接。但测试发现英文体验优于中文，模型有重复输出、幻觉严重问题。
抢先OpenAI？AIUI全新升级燃爆22亿终端，国内大厂定义智能交互
科大讯飞围绕智能交互场景，对AIUI、机器人超脑等4大平台全面升级。其AIUI以大模型为引擎，有儿童专属交互方案，还推出智能眼镜“三麦阵列”等，各平台在多领域应用成果显著。
GPT-4o连验证码都解不了？？SOTA模型成功率仅40%
MetaAgentX团队推出Open CaptchaWorld平台，用于测试Agent解验证码能力。实测SOTA多模态模型成功率低，如GPT - 4o也被难住。该平台特点多样，揭示了当前Agent短板及模型设计新方向。
对话阶跃星辰段楠：“我们可能正触及 Diffusion 能力上限”
阶跃星辰段楠指出当前视频生成技术或触天花板，真正有深度理解能力的模型尚待突破。他预测未来1 - 2年视觉领域基础模型有望出现，还分享视频生成及多模态AI未来核心洞察。
文生图进入R1时代：港中文MMLab发布T2I-R1，让AI绘画“先推理再下笔”
港中文MMLab团队发布首个基于强化学习的推理增强文生图模型T2I - R1。它提出双层级CoT推理框架和BiCoT - GRPO强化学习方法，解决生成评估难题，为多模态生成提供新范式。
惊讶！！！3.2 万 Star OpenViking，让你的原地起飞！！！
OpenViking有3.2万Star，它把记忆、文档、提示词等上下文统一成可浏览地址空间，设计三层信息按需加载，检索留轨迹，还接入多种工具。不过它处Alpha阶段，用前要考虑许可证。
当 Agent 尝试接管浏览器，连“我是人类”都证明不了？上海交大开源发布交互评测基准 HLL
随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。