搜索：原生多模态推理

「原生多模态推理」共找到 3072 篇相关文章

多模态大模型别盲目刷题！诊断-生成-强化闭环，找准盲点 | ICML'26

多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。

DeepSeek上线多模态并开源新范式技术。该研究让AI用视觉原语思考，弥合语言与视觉指代鸿沟。它构建紧凑模型架构，信息压缩率达7056倍，训练分三阶段，测试中表现出色，也存在局限。

本文概述2024 - 2026年推理LLM的强化学习进展，从REINFORCE和PPO讲起，介绍GRPO、RLOO等多种算法。指出critic模型非必需，标准差归一化有副作用，损失聚合很关键，信任域是优化切入点，还提出几个未解决的挑战。

传统listwise在复杂查询表现差，近期工作泛化性不佳。人大与百度等提出ReasonRank，通过全自动合成13K推理数据及两阶段训练，在BRIGHT等榜单表现优异，且ReasonRank-7B比Rank1-7B快2.5倍。

剑桥和Google等提出并开源视觉规划范式，通过纯视觉表示规划，独立于文本。还引入VPRL框架，用GRPO后训练大型视觉模型。实验选三个视觉导航任务，VPRL表现最佳，显著优于其他方法。

近期，DeepSeek 推出 DSpark，阶跃星辰提出 JetSpec，都关注大模型推理效率。DSpark 关注验证效率，JetSpec 提高有效 Token 生成率。二者切入点不同，但都显示大模型行业进入新阶段，推理效率成 Agent 落地基础变量。

独立AI测试实验室披露评估推理模型成本上升。这些模型生成“思维链”提升输出质量，但计算需求增加，成本上升使资源有限组织难复现结果，且新模型定价、按需分配推理token也让成本更复杂。

MMAR基准测试对30款音频相关模型进行测试，结果显示，多数开源模型面对复杂音频推理任务远未达实用水平，音乐任务中所有模型表现不佳，且有显式推理能力的模型表现更优。

9月17日，梁文锋担任通讯作者的DeepSeek - R1推理模型研究论文登《Nature》封面，它是全球首个经同行评审的主流LLM。不靠人工标注，靠强化学习激发推理能力，学会‘自我反思’，在多任务上优于传统模型。

文章提出思维锚点概念，指推理轨迹中影响后续步骤和答案的关键句。开发三种归因方法，系统论证高级组织句影响力更大，锚点主导错误修正。研究为理解LLM推理机制开辟新途径，开源工具支持可视化分析。