「多模态长文档问答」共找到 1302 篇相关文章
行业新突破:行为基础模型可实现高效的人形机器人全身控制
该综述聚焦行为基础模型(BFM)在人形机器人全身控制中的应用,梳理进展并分类算法,介绍应用与限制,还探讨未来研究机会与风险,有望引导该领域研究者和从业者。
阿里达摩院开源多模态医学大模型—灵枢
大模型在医疗领域应用有医疗知识覆盖不足、幻觉风险高、推理能力欠缺三大难题。阿里达摩院开源统一多模态医学大模型灵枢,介绍其数据体系、清洗流程及四阶段强化训练方法。
打破长视频理解瓶颈:HoPE混合位置编码提升VLM长度泛化能力
如今视觉语言模型在长上下文任务表现不佳,CMU和小红书团队深入研究,首次提出多模态RoPE扩展策略理论评估框架,指出现有泛化能力不足原因,提出HoPE大幅提升VLM长度泛化能力。
Agent性能暴涨90%,刷榜GAIA可太容易了~
今年AI Agent层出不穷,当前研究缺乏统一标准、复现难。oppo Agent团队分享构建高效Agent的关键组件及刷榜GAIA的方法,从事实获取能力和逻辑推理保真度两维度分析,介绍了强化感知和提升思维的策略。
大模型终于能“听懂”云操作了?
本文介绍通过MCP Server和大模型结合实现云产品管理的自然语言操作。作者分享上手体验、探究原理、进行代码验证,解决使用问题,还提出后续优化方向和未来展望,如拆分MCP Server、建立云产品Agent等。
抢先OpenAI?AIUI全新升级燃爆22亿终端,国内大厂定义智能交互
科大讯飞围绕智能交互场景,对AIUI、机器人超脑等4大平台全面升级。其AIUI以大模型为引擎,有儿童专属交互方案,还推出智能眼镜“三麦阵列”等,各平台在多领域应用成果显著。
GPT-4o连验证码都解不了??SOTA模型成功率仅40%
MetaAgentX团队推出Open CaptchaWorld平台,用于测试Agent解验证码能力。实测SOTA多模态模型成功率低,如GPT - 4o也被难住。该平台特点多样,揭示了当前Agent短板及模型设计新方向。
对话阶跃星辰段楠:“我们可能正触及 Diffusion 能力上限”
阶跃星辰段楠指出当前视频生成技术或触天花板,真正有深度理解能力的模型尚待突破。他预测未来1 - 2年视觉领域基础模型有望出现,还分享视频生成及多模态AI未来核心洞察。
文生图进入R1时代:港中文MMLab发布T2I-R1,让AI绘画“先推理再下笔”
港中文MMLab团队发布首个基于强化学习的推理增强文生图模型T2I - R1。它提出双层级CoT推理框架和BiCoT - GRPO强化学习方法,解决生成评估难题,为多模态生成提供新范式。
惊讶!!!3.2 万 Star OpenViking,让你的原地起飞!!!
OpenViking有3.2万Star,它把记忆、文档、提示词等上下文统一成可浏览地址空间,设计三层信息按需加载,检索留轨迹,还接入多种工具。不过它处Alpha阶段,用前要考虑许可证。