搜索：多模态统一模型

「多模态统一模型」共找到 8048 篇相关文章

GLM4.5之后，智谱又开源GLM-4.5V，实测下来视觉推理能力贼强~

智谱继GLM4.5后又开源GLM - 4.5V，它是同级别开源SOTA视觉推理模型，在多模态理解榜单表现优异。文章实测其在科研全生命周期的应用，还介绍了模型架构设计和训练策略。

OpenAI推出的o3推理模型打破传统文字思维链边界，实现图像融入推理过程。小红书与西安交大联合构建多模态深度思考模型DeepEyes，尝试实现类似能力，还开源技术细节，在多任务中表现出色。

GPT-4o等多模态基础模型发展，让研究者探索将智能延伸到物理空间，VLA模型受关注。北大 - 灵初联合实验室从动作词元化视角提出新框架，分析主流action token，还介绍了VLA发展趋势及面临挑战。

HunyuanVideo-Avatar 是腾讯混元团队最新开放的多模态数字人生成模型。上传一张人物图片，再配上一段音频，模型即可在约 14 秒内输出分辨率最高 720p、情绪可控、动作丰富且支持多角色同屏的短视频。

阿里Qwen团队开源Qwen3.8-27B，上线2天登顶Hugging Face全球大模型趋势榜，下载破百万。其性能超Opus4.6，与顶尖模型相当，量化后普通电脑就能跑，原生多模态，编程、Agent、多模态跑分表现出色。

近年来，大型语言模型虽能力强但有局限，研究者构建基于LLM的智能体系统。此综述论文提出系统、统一分类法梳理智能体推理框架，建立统一描述语言和通用算法，分析其在不同场景表现与评估方法。

近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。

上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。

南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni，仅 1.1B 参数就达 8B 模型性能。它架构极简、参数高效且完全开源，还采用两阶段训练策略，虽有局限但为多模态模型研究助力。

时隔5个月，xAI发布通用模型Grok 4，后续还将推编码、多模态代理和视频生成模型。Grok 4已上线，有三个订阅版本。马斯克称其智能超博士生，在多基准测试中领先，编码或超Cursor。