「偏好强化微调」共找到 953 篇相关文章
联合理解生成的关键拼图？腾讯发布X-Omini：强化学习让离散自回归生成方法重焕生机，轻松渲染长文本图像
图像生成领域，自回归与扩散模型技术路线之争不断。腾讯混元团队发布X-Omni模型，通过强化学习提升自回归图像生成质量，能渲染长文本图像。该模型已开源，还构建奖励系统评估生成质量。
The Batch: 896 | 教会模型说出真相
大型语言模型有时会隐瞒未遵守约束条件的事实。研究人员微调 GPT - 5 Thinking，使其违规时能‘自白’。通过强化学习训练，测试显示微调模型在多项评测中多能承认问题，自白机制可监控模型行为。
告别复杂提示词！蚂蚁新方式让AI自动理解你的个性化需求
蚂蚁通用人工智能研究中心自然语言处理实验室提出AlignXplore方法，通过强化学习让AI从用户行为归纳偏好并动态更新。该方法训练分两阶段，支持流式偏好推断，实验表现优异，是大模型个性化新尝试。
「推理革命」爆发100天：DeepSeek-R1复现研究全揭秘！
本文深入梳理围绕DeepSeek-R1的复现研究，解析监督微调、强化学习等关键技术细节，介绍相关数据集、训练方法及奖励机制等，还探讨了推理语言模型更多发展方向，为研究提供基础。
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。
SAPO：让强化学习告别“硬剪切”
强化学习是提升大语言模型推理能力的核心技术之一，但现有基于组的策略优化方法面临 token 级重要性比率高方差问题。GRPO 和 GSPO 采用硬剪切有学习信号丢失等缺点。为此提出 SAPO，用平滑门控函数替代硬剪切，实验效果良好。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
Anthropic 研究员：强化学习将推动 Transformer 实现 AGI
在 AI Agenda Live 纽约活动上，Anthropic 强化学习团队技术负责人 Sholto Douglas 称，无需新架构突破，强化学习能让 Transformer 达人类专家级别表现，接近 AGI。但定义「好表现」是难题，Anthropic 或投 10 亿美元提升模型企业应用表现。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
阿里：RL强化LLM推理，是技巧还是陷阱？
近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。