搜索：偏好强化微调

「偏好强化微调」共找到 953 篇相关文章

直播预约 | 强化学习训练能否不依赖外部知识优化模型的弱点？

论文提出 SwS 框架，针对强化学习场景，利用模型自我感知弱点驱动自动化问题生成，合成针对性训练数据。还对其进行多项扩展，在多个基准测试集和模型上验证有效，性能提升显著。

苹果提出内存高效型反向传播（MeBP），可在内存使用量和计算时间上比零阶优化（ZO）有更好权衡，收敛更快、性能更优，还在iPhone 15 Pro Max验证其有效性，且公开了实现链接但目前为空。

华中科技大学、北京邮电大学等多所高校研究团队共同推出纯多模态开源LLM——Perception-R1，该模型用强化学习优化视觉感知，目前论文和代码均已开源，其在视觉任务上表现出色，为后续研究提供强大baseline。

OpenMOSS团队开源的World Critic Model（WCM），解决了视觉 - 语言 - 动作模型强化学习（VLA - RL）中批评家模型（Critic Model）仅依赖单帧观测打分的问题。WCM让Critic学习预测执行动作后的潜在状态，代码等全开源，验证效果显著。

Memento - Skills系统抛弃大量算力微调模型参数的方式，靠读写反思、“写日记”式学习机制，在不改变模型参数下实现能力跃升，在GAIA和HLE基准实验中准确率显著提高。

现有基于可验证奖励的强化学习（RLVR）应用范围局限，清华自然语言处理实验室提出 RLPR 技术，通过 Prob - to - Reward 提高概率奖励质量，有领域无关等特点，相关代码等已开源。

本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本，通过优化几何平均替代算术平均，解决GRPO训练不稳定问题，在多任务实验中显著优于GRPO。

具身智能发展中样本效率成瓶颈，传统无模型强化学习依赖盲目试错。清华与加州伯克利团队提出BOOM框架，通过自举循环机制解决在线规划与策略学习矛盾，实验表现卓越，为具身智能落地提供支撑。

树根科技与三一集团团队联合提出 GIPO 算法，在机器人操控及大语言/视觉动作模型强化学习训练中，缓解了策略滞后痛点，改善了 PPO 硬截断引发的‘利用率崩溃’问题。介绍了 GIPO 算法原理、优势及实验结果。

强化学习之父Richard Sutton在演讲中指出，人类数据耗尽，AI正进入“经验时代”，真正的AI要从与世界互动的“经验”中获取数据。他还认为创造超级智能体是好事，人类和AI繁荣应基于“去中心化合作”。