搜索：偏好强化微调

「偏好强化微调」共找到 953 篇相关文章

RL特训出「押题大师」？破解模型微调中的多样性危机与灾难性遗忘

近年来，基于可验证奖励的强化学习（RLVR）成为提升大语言模型推理能力的重要路径，但许多经RL微调的模型出现‘越训越单一’问题。复旦大学等团队聚焦长期被忽视的KL散度项，提出DPH - RL方法，可缓解多样性坍塌。

最新模型Jan - nano引发关注，它在智能体任务上超671B的DeepSeek - V3 0528，在SimpleQA基准获80.7分。它基于Qwen3 - 4B用字节&清华DAPO微调方法。其研发团队是Menlo Research，有开源产品和长远规划。

12月13日，西湖大学修宇亮在GAIR 2025分享数字人重建进展。其团队成果UP2You将建模时间从4小时缩至1.5分钟；ETCH获更准确内部人体结构；Human3R可实时动态重建人物场景。他认为未来数字人重建将成基础模型微调任务。

现有 MLLM 依赖文本处理视觉信息，会造成信息丢失。剑桥、伦敦大学学院、谷歌团队提出视觉规划范式，以强化学习框架 VPRL 提升模型规划能力，实验显示其性能优于文本规划。

快手Klear团队推出Klear-Reasoner模型，基于Qwen3 - 8B - Base打造，在多基准测试达同规模SOTA。其核心GPPO算法能强化稳定性与探索能力，团队还对训练流程多环节深入分析，给出优化策略。

Meta进行AI研究架构大重组，将业务分为研究、训练、产品和基础设施四个团队。成立TBD Lab探索新方向，如构建‘omni’模型；FAIR成创新引擎；解散AGI Foundations团队。旨在强化超级智能战略。

LRMs扩展到长文本场景是挑战，阿里开源QwenLong-L1框架，是首个用强化学习训练用于长文本推理的模型。它含三个核心组件，QwenLong-L1-32B性能领先，与Claude-3.7-Sonnet-Thinking相当。

传统强化学习框架在模型和集群规模达上千块GPU时，存在扩展性瓶颈和效率低下问题。上海创智学院团队推出siiRL，采用全分布式架构和多控制器范式，解决传统框架痛点，在多方面验证了其高性能。

新智元报道，翁荔的Thinking Machines研究同策略蒸馏策略，能以1/10强化学习成本，结合同策略训练优势与密集奖励信号。该策略受DAGGER启发，扩展Qwen3团队工作，可在Tinker复现，还能用于个性化和持续学习。

清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈，推出FlashRL，应用INT8/FP8，用TIS解决不匹配问题，加速显著且不牺牲性能，一条命令即可使用。