搜索：全模态强化学习

「全模态强化学习」共找到 1631 篇相关文章

VeRL-Omni：面向扩散和全模态生成模型的通用RL后训练框架

VeRL-Omni是面向多模态生成模型的通用RL后训练框架，覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性，支持多种硬件，团队还验证了不同训练方式，后续将扩展模型与算法支持。

多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。

复旦大学等联合推出全模态端到端操作大模型RoboOmni，统一多模态，实现动作与语音协同控制。它重新定义机器人交互范式，让机器人具备“察言观色”能力，还构建了OmniAction数据集，实验表现全面领先。

传统理论认为大模型会过拟合，而如今大模型却驱动了诸多应用。2019年研究者突破传统扩大模型规模，出现‘双下降’现象。‘彩票假说’解释其成功原因，还重新定义了‘智能’，揭示科学进步规律。

Meta与约翰霍普金斯大学联合推出CrossFlow框架，实现跨模态生成新突破。它基于流匹配提出新范式，无需依赖噪声分布等，在多任务上媲美或超最优算法，训练成本低、速度快，还能适配多任务。

当前图像编辑模型在处理新概念时泛化能力不足，为解决此难题，Meta等研究者提出自回归模型InstaManip，创新性提出分组自注意力机制和关系正则化策略，在few - shot图像编辑任务上取得优异效果。

近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。

2026年3月6日，赵林等教授团队在《Advanced Science》发表论文。提出EvLOWN数据驱动理论，利用平均法重构推断方程目标，扩展微小效应可推断性边界，在多领域应用效果好，但有未考虑SDE等局限。

豆包大模型团队与北京交通大学联合提出视觉世界模型 “VideoWorld 2”，无需依赖语言模型，仅靠视觉信息让机器掌握复杂能力。它能完成复杂手工任务，成功率远超主流模型，代码与模型已开源。

西北工业大学孙旭翔博士的论文聚焦航空航天湍流模拟难题，结合数据驱动与同化方法，构建全流程框架，提出数据同化与模型修正方法，设计集成框架，实现高雷诺数复杂流动精确高效模拟。