「多模态任务」共找到 2681 篇相关文章
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
在AK大神爆火的任务里，摸清国产AI真实水平
4月20日深夜Kimi K2.6发布并开源，作者借Andrej Karpathy的AI Wiki思路设计高承压任务，测试其Agent底层能力，考察它在单Agent、Agent网站和Agent Swarm三种模式下表现，探究国产AI真实水平。
全面评估多模态模型视频OCR能力，Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型（MLLM）视频OCR能力。构建精细任务体系和高质量数据集，评测18个主流MLLM。即便如Gemini - 2.5 Pro，准确率仅73.7%，暴露出MLLM在视频OCR领域能力局限。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%
美国南加州大学和宾夕法尼亚大学团队提出新训练范式ERL，将「经验学习」引入强化学习，通过二次尝试和反思蒸馏，在复杂任务中性能显著提升，为构建长期自主智能体提供新思路。
多模态幻觉的病因「高熵节点」找到了！全基准幻觉率下降
多模态大推理模型的幻觉常出现在生成转折词时，此时模型处于高熵关键节点，易脱离图像证据。研究者提出LEAD，高熵时保留候选推理方向，注入视觉锚点拉回证据，实验显示它能跨领域提升模型性能。
任务自适应 Harness：从 Trace 到多 Coding Agent 的协作记忆
作者为AI Coding准备的端到端方案未落地，后在Routa项目找到新落点。基于ACP协议的Agent Trace可记录关键行为，用于分析优化。还介绍了Feature Explorer、Kanban Harness及任务自适应Harness，探讨多Agent协作记忆。
OpenAI员工爆料：已抢先体验GPT-5！7月上线，疑似完全多模态
新智元报道，X上神秘爆料与网友灰度测试经历让GPT - 5讨论再升温。奥特曼称今年夏天可能推出，迈向完全多模态。此外，还提及OpenAI核心团队动态、出走高管新动作及AI发展风险与监管建议。
字节Seed开源长线记忆多模态Agent，像人一样能听会看
字节Seed发布全新多模态智能体框架M3 - Agent，能听会看、有长期记忆且免费开源。团队还开发新长视频问答基准M3 - Bench并开源。实验显示，M3 - Agent在多基准测试中显著优于基线模型。