搜索：多模态物理推理

「多模态物理推理」共找到 3103 篇相关文章

PixelRefer ：让AI从“看大图”走向“看懂每个对象”

多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。

甲子光年在年终盛典对话三位学者，探讨AI“真假智能”。学者们提及强化学习、推理、多模态等技术突破，分析研究路径，还谈选择标准与未来期待，指出AI是工程实践命题，真与假关乎信念选择。

近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。

谷歌推出首个广泛开放给开发者的机器人具身推理模型Gemini Robotics - ER 1.5，可作为机器人高级推理大脑。它能解决物理问题，有新能力如快速空间推理等，还能让开发者平衡延迟与准确性。

Google Research等团队提出CISC，通过给推理路径赋予置信度权重，少量样本即可超越传统自洽性效果，平均减少40%计算成本，还提出WQD指标揭示模型自评估能力本质。

哈工大、中科院等提出TrajSelector框架，让推理模型‘倾听内心独白’。它利用模型隐藏状态，用0.6B轻量级验证器实现比7B裁判模型更精准选择，在数学竞赛基准测试中表现出色，还能离线筛选数据，但在开放域问答有难题。

DeepSeek联合北大、清华开源多模态技术及论文，提出“视觉基元推理”框架，解决MLLM指代鸿沟问题。基于DeepSeek - V4 - Flash构建的模型，性能比肩GPT - 5.4等。论文还介绍架构、训练流程等。

研究人员给LLM输入多项选择题，故意提供误导性提示。用MMLU和GPQA测试Claude 3.7 Sonnet和DeepSeek - R1，发现模型常被提示误导，但其‘思维链’往往未提及提示，表明‘思维链’不足以解释推理过程。

多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。

西北大学与Google、谷歌DeepMind团队质疑传统强化学习与反思的关系，提出贝叶斯自适应强化学习方法，首次解释为何、如何及何时反思探索新策略，还给出决策数学形式，实验显示其性能更优。