搜索：多模态大型语言模型

「多模态大型语言模型」共找到 1986 篇相关文章

NVIDIA重磅开源！OmniVinci 仅 9B 模型就拿下多模态冠军！

英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。

华中科技大学、北京邮电大学等多所高校研究团队共同推出纯多模态开源LLM——Perception-R1，该模型用强化学习优化视觉感知，目前论文和代码均已开源，其在视觉任务上表现出色，为后续研究提供强大baseline。

Inception Labs推出基于扩散技术的大语言模型Mercury，它突破自回归模型限制，生成速度快，还解决了难以回头调整的问题。实测显示其代码生成速度比传统工具最多快10倍，且有强大纠错能力，但面临与当前CI能力不匹配问题。

近年来，人们关注将LLM能力扩展至非文本模态，Discrete Tokenization成关键方案。但现有研究缺系统总结，香港科技大学等团队发布首个相关系统化综述，梳理技术脉络、方法及挑战，给出未来研究方向。

上海人工智能实验室等团队提出全新生成式多模态推理范式，发布模型 DiffThinker。它打破传统定式，以图像到图像生成任务重构推理过程，在多项复杂任务中表现优于顶尖闭源模型，有四大核心特性。

Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。

12月17日腾讯官方消息，腾讯升级大模型研发架构，新成立AI Infra部等。姚顺雨出任首席AI科学家，兼任AI Infra部、大语言模型部负责人，他在智能体方向成果多，论文总引用超1.9万。

来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。

纽约大学助理教授谢赛宁与李飞飞、Yann LeCun 合作提出「Cambrian - S」，迈出视频空间超感知探索第一步。该研究引入 VSI - Super 基准，还提出预测性感知范式，在空间认知任务上有提升，相关论文值得视频多模态研究者参考。

中科院等团队论文剖析 DeepSeek - OCR，通过实验揭示其高压缩率下准确率高或依赖语言先验。去掉语言先验，准确率暴跌；下游任务推理崩塌，长文本处理也有瓶颈。