「强化对齐」共找到 880 篇相关文章
逆强化学习全新视角的大模型对齐技术
文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。
研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。
强化学习远不是最优，CMU刚刚提出最大似然强化学习
CMU等机构研究指出，现实中广泛使用的强化学习未真正做最大似然优化，只是优化其一阶近似。基于此，团队提出最大似然强化学习，实验显示其在性能与计算效率权衡上优于现有方法。
图灵奖得主Sutton再突破：强化学习在控制问题上媲美深度强化学习？
图灵奖得主Richard S. Sutton认为未来AI发展需靠强化学习。他将2024年的SwiftTD算法拓展到控制领域，提出Swift - Sarsa算法，还设计操作性条件反射基准测试。实验显示，结合预处理方法，其性能或媲美深度强化学习。
OpenAI没开源的gpt-oss基础模型，他去掉强化学习逆转出来了
OpenAI未发布gpt-oss基础模型，Cornell Tech博士生Jack Morris自行逆转gpt-oss模型强化学习，发布gpt-oss-20b-base。该模型可生成任意文本，但不再对齐，还测试了其记忆能力，介绍了诞生原理与技术细节。
一个强化学习信仰者的十年｜甲子光年
本文讲述朱哲清在强化学习领域的十年历程。他从斯坦福到Meta再创立Pokee AI，逆势押注强化学习。虽面临诸多质疑，但随着InstructGPT等出现，强化学习逐渐被认可，他致力于构建新一代AI Agent。
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’？揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文，指出预训练大模型存在‘抗对齐’的 Elasticity 现象，即对齐微调只是暂时拉伸，后续微调会让其迅速弹回预训练分布。研究量化该概念，用‘压缩理论’刻画对齐并实验验证。
Anthropic开源认知对齐MSM
大模型对齐、安全问题是行业大事，Anthropic开源的MSM对齐方法，能将Qwen3 - 32B的agent错位率大幅降低。它先给模型讲规则逻辑再微调，控制精度高，还研究了最佳实践，将改变大模型对齐流程。
速递｜前字节Seed强化学习专家孙鹏加入星尘智能，将大模型后训练经验带到物理世界
9月2日消息，前字节跳动Seed团队强化学习专家孙鹏博士加入星尘智能，负责机器人强化学习方向。星尘智能有技术、资本和商业优势，孙鹏经验丰富，此次加入将助力其强化学习后训练发展。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。