「奖励黑客」共找到 304 篇相关文章
逆强化学习全新视角的大模型对齐技术
文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。
为了「自我锤炼」，OpenAI 造了一个攻击力极强的「AI 黑客」
OpenAI宣布扩展网络安全计划Daybreak，推出GPT‑5.6‑Cyber，分蓝队和红队。红队模型模拟黑客找漏洞，能力强悍，高危安全任务完成率达95%。但此举也带来安全风险，OpenAI采取分级授权等措施。
OpenAI公告正经解释：为什么GPT-5.5爱说“哥布林”
OpenAI官网发公告回应GPT-5.5爱说“哥布林”问题。原来是对“书呆子”人格训练时，无意中对使用生物比喻的模型给予高奖励，导致“哥布林”表述扩散。之后移除相关奖励和过滤数据来解决。
连Karpathy都怕了！9千万级AI包被投毒，竟靠黑客写出bug救命
3月24日，AI应用核心工具LiteLLM更新版本含恶意代码，可窃取开发者核心信息。因攻击者代码有bug致机器崩溃才暴露。这引发AI基础设施信任危机，Karpathy称要减少依赖。
新SoTA方法RM-R1：让reward model对评分说出原因！超越GPT4o
过去模型‘黑箱打分’不透明、不灵活。论文提出ReasRM，经两阶段训练，让奖励模型像人类先思考再打分。它能分任务类型、动态奖励，实验中碾压GPT - 4，小模型逆袭，团队已开源6个模型。
智源开源EditScore：为图像编辑解锁在线强化学习的无限可能
北京智源研究院团队发布 EditScore 高保真奖励模型系列，为图像编辑强化学习提供精确奖励信号。团队提出两步解决方案，开发出 EditScore 系列模型，其在多方面表现优异，还验证了两大应用场景，有深刻研究洞见。
答对了却没看图？EASE给多模态RLVR装上「视线校正器」
强化学习与可验证奖励提升视觉语言模型推理能力，但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE，把标注证据区转为目标分布，监督空间注意力，推理无额外标注，实验成绩优异。
开源AI黑客Agent，自动检查代码漏洞并修复，离AI编程的全流程自动化不远了。
开源的AI Agent能自动查代码漏洞并修复，是集自动化渗透等功能于一体的安全测试平台。Strix作为开源AI安全测试工具，无需手动渗透测试，支持多类型安全评估，功能强大。
大模型推理也能“智能调度”：让奖励模型按需分配算力的动态路由机制 | ACL 2026
生成式奖励模型（GRM）推理策略存在算力浪费问题。腾讯混元与新南威尔士大学联合提出 E - GRM 框架，将模型不确定性定义为调度信号，按需推理。文章从多维度解读该框架，并展示实验评估结果。
寻找最会养虾的你丨环球黑客松·上海站「OPC 极限挑战赛」等你来！
3月27 - 28日上海全球开发者先锋大会现场举办「OPC极限挑战赛」，要验证一人加AI能否从零跑出真实业务，需回答OPC养龙虾赚钱、环节跑通及项目存活进化等问题，欢迎超级个体报名。