搜索：多模态语言推理

「多模态语言推理」共找到 3446 篇相关文章

如何将LLM的"思考习惯"迁移到视觉领域？

传统多模态模型处理复杂视觉推理能力不足，OVR团队以Qwen2.5 - VL - 7B为基础构建开源强化学习框架，成果模型OVR在12个基准测试刷新记录，揭示认知行为跨模态迁移三条黄金定律。

近年来大型推理模型在复杂任务表现出色，但推理机制成谜。本文提出用推理图解码其‘思考轨迹’，分析环状结构、直径大小和小世界特性，发现蒸馏模型等特点，为理解AI推理及模型优化指明方向。

大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。

ClockBench测试让11个多模态大模型与5个普通人认钟表时间，人类平均准确率89.1%，最好的AI仅13.3%。AI在复杂钟面表现差，却能处理抽象指令。该测试暴露视觉AI空间推理缺陷，对评估有启发。

多模态大语言模型正经历范式转变，目标是实现全模态协同交互。但现有评测体系难跟上模型发展。飞捷科思和复旦团队推出 FysicsWorld 基准，可评测模型多能力，还提出 CMCS 策略，为全模态智能发展提供指引。

北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。

UC伯克利大学副教授Sergey Levine提出，为何语言模型从预测下一词中学到很多，视频模型从预测下一帧却学得少。他指出LLM可“抄近路”模仿人类推理，像在“柏拉图洞穴”中，还探讨了AI走出困境的方法。

近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。

ICCV 2025中稿的LangScene-X以全新生成式框架，仅用稀疏视图就能构建可泛化的3D语言嵌入场景。它攻克传统方法痛点，将多模态信息统一在单一模型，为空间智能领域打开新大门。

信通院大模型推理能力评估中，文心X1 Turbo获最高级“4+级”。百度AI Day上，副总裁吴甜解析文心4.5 Turbo和文心X1 Turbo，从多模态、深度思考等方面介绍技术，还展示其在多场景应用成果。