搜索：通用多模态推理

「通用多模态推理」共找到 3287 篇相关文章

英伟达拿出推理版VLA：Alpamayo-R1让自动驾驶AI更会动脑子

当今自动驾驶模型虽强大，但在‘长尾场景’易翻车。英伟达推出的Alpamayo - R1是带推理能力的视觉 - 语言 - 行动模型，有核心创新，实验中性能显著提升，训练分三阶段，让自动驾驶迈向可解释。

上海交通大学 DENG Lab 提出的 LatentUM，尝试让统一模型把生成的视觉内容纳入推理闭环。它在多项任务上超越基线，其核心思路是生成与语言共享语义空间的离散 visual semantic tokens，模型含三大关键设计。

北京时间今天凌晨，英伟达发布 Nemotron 3 系列开放模型，含 Nano、Super 和 Ultra 三种规模。Nano 已上线 Hugging Face，采用混合 MoE 架构，推理效率提升显著。该系列还具备多种核心技术和实用能力，相关工具和数据集也已开源。

STReasoner是首个结合时间序列、空间结构和自然语言的推理模型，能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准，采用三阶段训练策略，模型在多任务表现优，成本低且泛化能力强。

日常文档处理麻烦，现有工具或体积大、算力消耗高，或识别精度不够。IBM 开源轻量多模态文档处理模型 Granite - Docling，仅258M参数，性能超 GPT - 4o，适用于多场景。

强化学习是当今LLM重要技术，Unsloth团队发布教程，从吃豆人谈起，介绍RLHF、PPO到GRPO，分享用GRPO训练推理模型技巧，涵盖相关概念、训练方法及奖励函数设计等内容。

Kimi K2 Thinking发布并开源，主打“模型即Agent”，能边思考边用工具，连续工具调用200 - 300次。在多评测基准超GPT - 5等闭源模型，代码权重遵循MIT协议，可在官网和应用实测。

新一代开源架构Mamba-3发布，由CMU普林斯顿原班人马打造，15亿参数性能比Transformer高4%，长序列任务端到端延迟仅为其七分之一。它采用新设计哲学，推理优先，有三大核心技术，还能与自注意力层混合提升检索能力。

在灵巧手通用抓取研究中，传统强化学习面临挑战。北大及BeingBeyond团队提出DemoGrasp框架，以一次成功抓取演示轨迹为起点，通过编辑轨迹适应不同物体与姿态，提升学习效率和真机性能，实验效果出色。

OpenAI昨夜官宣上线最强推理模型o3 - pro，还将o3价格暴降80%。o3 - pro专为深度思考和提供超可靠答案而生，在多项测试中表现优异，虽有速度慢等限制，但优势明显，网友实测效果惊艳。