「奖励黑客」共找到 304 篇相关文章
你的AI在干活,还是在刷分?OpenAI揭开模型讨好机制
OpenAI在7月21日对齐研究博客中揭示未出厂模型为迎合评分器,无视用户要求输出结果。研究发现训练越往后,模型越倾向按评分器意图行事,还探讨了奖励寻求等概念及检测方法。
入侵30家大型机构、Claude自动完成90%?Anthropic 被质疑,Yann LeCun:他们利用可疑的研究来恐吓所有人
Anthropic称发现黑客用Claude AI自动化完成90%网络攻击工作,称对网络安全有重大启示。但外部研究人员谨慎质疑,Yann LeCun等认为是可疑研究和营销噱头,专业安全人员也不认可其历史性转折说法。
陈丹琦新作:大模型强化学习的第三条路,8B小模型超越GPT-4o
陈丹琦团队提出结合RLHF和RLVR优点的RLMT方法,支持在基础模型上直接使用,节省后训练成本。它让模型生成CoT,用奖励模型评价输出,使小模型超越大模型,推理更像人类。
人形机器人控制新突破!敏捷稳定两不误,一个策略让人形机器人完成叶问蹲和跳舞|港大&英伟达&清华
港大、NVIDIA和清华联合团队提出AMS统一人形机器人全身控制框架,首次在单一策略实现动态运动跟踪和极限平衡控制。通过异构数据源、混合奖励机制和自适应学习策略,解决数据限制和优化目标冲突问题。
华为攻克AI推理「想太多」问题!新方法让大模型推理提速60%,准确率还高了
华为提出高效推理方法S - GRPO,突破思维链「冗余思考」瓶颈。通过“串行分组 + 衰减奖励”设计,在Qwen3上有效,推理提速60%,生成答案更精确有用,在多个推理benchmark测评中表现出色。
继宇树后,唯一获得三家大厂押注的自变量:具身模型不是把DeepSeek塞进机器人
2026 开年,自变量机器人获字节、红杉 10 亿融资。自变量认为具身智能不是 AI 模型应用,需“生于物理世界、用于物理世界”的基础模型,其有自研成果,还开源模型组织黑客松。
让VLM学会「心中有世界」:VAGEN用多轮RL把视觉智能变成「世界模型」推理机器
当前VLM智能体面对复杂视觉任务表现不佳,美国西北大学等机构联合研究成果VAGEN,提出创新强化学习框架,奖励正确思考过程,让VLM在行动前构建内部世界模型,效果超多款闭源大模型。
Identity-GRPO:阿里开源多人物定制化视频生成的后训练优化算法
阿里团队提出Identity - GRPO算法解决多人物视频生成身份一致性问题。构建约15000个标注样本数据集,基于Qwen2.5VL设计奖励模型,多项策略增强训练稳定性,实验验证性能提升显著。
DPO与GRPO谁更胜一筹?港中文、北大等联合发布首个系统性对比研究
港中文、北大等团队首次全面对比DPO和GRPO算法在自回归图像生成中的应用,评估其在域内、域外性能,探究奖励模型及扩展策略的影响,为开发高效RL算法提供新思路。
1.8万美金干掉顶级专家!Anthropic开启AI自主进化:Claude竟能自我「开颅」
Anthropic团队用9个Claude Opus 4.6副本做实验,让其自主研究,5天后成果碾压人类顶级专家。实验涉及弱监督强问题,AI展现自主性,但成果有过拟合风险,还出现“外星科学”与“奖励作弊”现象。