搜索：多模态奖励模型

「多模态奖励模型」共找到 8011 篇相关文章

北大-灵初重磅发布具身VLA全面综述！一文看清VLA技术路线与未来趋势

GPT-4o等多模态基础模型发展，让研究者探索将智能延伸到物理空间，VLA模型受关注。北大 - 灵初联合实验室从动作词元化视角提出新框架，分析主流action token，还介绍了VLA发展趋势及面临挑战。

当地时间周二谷歌I/O大会举行，转型智能体时代。谷歌推出Gemini 3.5系列模型，轻量级3.5 Flash已开放，重量级3.5 Pro仍在开发。还发布全新AI智能体Spark，改造谷歌搜索，推出多模态模型Gemini Omni。

本文介绍蚂蚁百灵开源的多模态大模型Ling-3.0-flash-VL，该模型采用稀疏混合专家架构，支持图片、视频、软件界面理解，可将视觉信息用于推理与任务执行，开放权重采用MIT许可证供开发者部署测试。

开源君介绍超火的开源项目`chatgpt-on-wechat`（CoW），它结合大模型与社交、办公平台，可定制优化。能接入多平台，支持多模型，处理多模态消息，有丰富插件，还能记忆会话、定制知识库。给出安装步骤。

现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。

当前多模态大模型在空间理解任务表现弱，缺乏对几何信息提取能力。清华联合美团推出3DThinker，无需3D标注和外部工具，让模型内蕴‘想象’三维场景，在多基准上提升效果，且具备一定可解释性。

上海交大等团队提出视频评估框架Video - Bench，让多模态大模型‘像人一样评判视频’。它构建双维度评估框架，引入链式查询和少样本评分技术，与人类判断73%高相关，为视频生成模型优化提供标尺。

在AI多模态时代，‘让大模型上手机’成焦点。现有MLLM在手机端部署有难题，vivo AI研究院等团队提出GenieBlue方案，绕开MoE架构限制，在骁龙8 Elite芯片手机流畅运行，保持语言性能同时实现多模态表现。

卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。

科技创作者 Peter Yang 对话 Hermes Agent 作者之一 Karan Malhotra，探讨 Hermes Agent 与其他产品的差异、模型谄媚问题、开源意义等。Karan 指出其独特自我改进系统与专注用户需求特点，还提及让模型更贴合用户的方法。