搜索：多模态强化学习

「多模态强化学习」共找到 2295 篇相关文章

OpenClaw的风刮到了多模态生成，6B小模型超越Nano Banana 2！

现在多模态生成模型在复杂指令和下游任务表现不佳。上海人工智能实验室等团队提出GEMS，将OpenClaw成功应用于多模态生成领域，激发小模型潜力，让6B小模型部分任务超越Nano Banana 2。

这篇论文提出奖励信号像AI的“导航星”，引导模型优化行为。介绍奖励学习概念、来源、形式和策略，阐述其贯穿LLM生命周期的三个阶段，探讨奖励模型设计选择，还提及实际应用、挑战与未来方向。

腾讯混元团队和复旦联合团队发布姚顺雨署名首篇论文《CL - bench》。论文证实模型在上下文利用上有能力短板，还构建了CL - bench评测基准，评估发现前沿模型在上下文学习上表现差，未来要让上下文学习走向现实。

多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。

OpenAI为ChatGPT上线苏格拉底「学习模式」，针对大学生，以交互式提示、分步解答等功能引导学习，可应对复杂学科难题。一经推出便受网友热捧，有人预言将端掉一波教育类AI。

上海人工智能实验室等多机构推出多模态生成与理解统一模型Lumina - DiMOO，采用全离散扩散架构。它解决传统多模态架构问题，有全离散扩散建模等四大创新，性能在多基准测试中领先，应用前景广。

清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。

7月26日，上海AI实验室发布并开源「书生」科学多模态大模型Intern-S1，其多模态能力全球开源第一，文本能力比肩一流，科学能力国际领先。它开创「通专融合」新范式，重构科研生产力，引发国际关注。

滑铁卢大学与快手可灵团队提出 UniVideo，是支持视频理解、生成与编辑的多模态模型。它采用双流架构，结合 MLLM 与 MM - DiT 能力，统一 10 个多模态任务，在多项基准超现有方法，代码已开源。

大模型作为产业变革核心引擎，RAG、Agent与多模态技术重塑AI与现实交互边界。本文解析技术演进脉络、实战经验与未来图景，介绍三者在各领域应用及面临挑战，为产业升级提供指引。