搜索：多模态语言推理

「多模态语言推理」共找到 3446 篇相关文章

Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论

Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。

文章聚焦多模态推理问题，如全局上下文理解不足和推理捷径问题。介绍阿里通义HumanOmniV2改进方案，涵盖全局上下文理解等方面，还详述冷启动、两阶段强化学习训练方案及数据集下载和训练方法。

在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。

基于推理增强框架的视觉语言模型处理OCR任务有成果，但存在生成幻觉问题，特定领域不如专家模型。DianJin - OCR - R1通过推理与工具交互，按‘思考 - 调用工具 - 重新思考’流程提升OCR性能，减少幻觉。

DeepSeek推出DeepSeek-OCR 2，提出“视觉因果流”，以全新视觉编码器赋予模型因果推理能力。它在文档解析基准表现超Gemini 3 Pro，代码和模型权重已开源，为2D推理和原生多模态探索铺路。

阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。

文章介绍新研究3D - R1，它是更通用、具推理能力的三维视觉语言模型，解决了当前3D VLM空间理解不足与推理能力薄弱问题，在多任务测试领先，有广阔应用前景。

哈工大30+页综述聚焦通用文本嵌入（GPTE），系统介绍其架构、数据、模型，探讨预训练语言模型（PLM）给GPTE带来的基础能力与高级扩展，还涉及多模态、多语言、代码嵌入等应用。

多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。

在AI多模态时代，‘让大模型上手机’成焦点。现有MLLM在手机端部署有难题，vivo AI研究院等团队提出GenieBlue方案，绕开MoE架构限制，在骁龙8 Elite芯片手机流畅运行，保持语言性能同时实现多模态表现。