搜索：视觉 - 语言推理

「视觉 - 语言推理」共找到 3214 篇相关文章

提示工程死亡？不，它刚刚重生为计算科学：一篇讲透Prompt设计的科学基础

大型语言模型在多步推理任务中受挫，因Transformer架构有计算深度限制。本文建立提示设计理论框架，揭示提示是信息选择器，优化提示可使推理性能提升超50%，将提示设计从试错艺术变为可计算科学。

康奈尔大学团队提出面向大语言模型的类GAN训练框架PasoDoble，通过对抗训练两模型提升推理能力，不依赖外部监督，在多模型实验中显著提升数学基准表现，不过在部分领域外任务有局限。

现有大型视觉语言模型（VLM）在实时场景表现不佳，宁波东方理工大学沈晓宇团队提出TaYS，让VLM从“帧文交错”切换到“并行”，实现“边看边想”，在准确性和延迟上表现出色，推动VLM走向更真实应用。

在多模态大语言模型应用多元的当下，对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2，解决现有推理路径问题，其相关代码等开源，在多基准数据集成果突破性领先。

大语言模型发展需海量高质量训练数据，传统人工标注困境重重，现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct，通过推理式自进化生成数据，实验证明其在多个任务上超越人类标注数据。

美团研究者提出Metis - RISE框架，将RL激励和SFT增强以非传统顺序结合提升多模态大语言模型推理能力。先RL激发潜能，再SFT补齐短板，训练的两模型在OpenCompass榜单成绩优异。

现有强化学习工作将语言模型作整体策略优化，研究提出以策略视角审视内部隐藏状态，分析层级和模块级策略，发现不同模型模式差异，还提出自底向上强化学习策略，为研究架起新桥梁。

清华、腾讯、斯坦福等团队发布RBench - V基准测试，评估大模型视觉推理能力。结果显示，主流大模型如o3、Gemini2.5等准确率远低于人类，开源模型表现更差，暴露出大模型在复杂多模态推理任务中能力不足。

本文是GAIR Live 023圆桌对话实录，浙江大学彭思达与具身多模态算法专家郝孝帅探讨具身导航。涉及本质、范式、挑战、交互等方面，还对未来5 - 10年发展做了展望。

如今的大语言模型推理能力关键在于测试时扩展，但长思维链有局限。微软研究团队用主动式强化学习探索，成果 rStar2 - Agent 方法训练出 14B 的 rStar2 - Agent - 14B 模型，性能超 671B 的 DeepSeek - R1。