搜索：奖励黑客 - AI Reading Hub

「奖励黑客」共找到 307 篇相关文章

无需验证器的RL：RLPR解锁LLM通用推理潜能

现有依赖强化学习与可验证奖励（RLVR）提升大语言模型（LLM）推理能力的方法，受限于领域特定验证器。本文提出RLPR框架，利用LLM生成正确答案的固有概率作奖励信号，实现无需外部验证器的通用领域强化学习，效果显著。

文章以AI能力为上涨的潮水、个人专业技能为柱子作比，指出AI先替代简单重复工作，再逐级挑战复杂工作。高精尖专家因专业技能高难，难见AI价值；创业者则受益于AI对琐碎事务的处理。

Anthropic与Mozilla合作，让Claude Opus 4.6对Firefox代码库做漏洞挖掘，两周发现22个漏洞，14个高危。Claude发现漏洞能力强，但利用漏洞能力弱。还研究用LLM做「补丁Agent」，为AI辅助安全研究建规范。

AI 发展带来网络安全新威胁，如生成式 AI 诈骗、深度伪造等。业内共识是以 AI 对抗 AI，有模型防护、行业应用、政府协作三类尝试。青藤云安全推出全栈式安全智能体「无相」，革新安全思维。

最新研究发现，AI的「创造力」并非额外能力，而是架构副作用。扩散模型本应是复制机器，却画出奇怪图像。研究者基于规则构建数学系统，证明了这一观点，还推测人类灵感或许同理。

Fable 5.1和Mythos 5.1发布，Fable 5.1推理成本低32%。但发布几小时后被破解，27万字提示词泄露，曝光了其安全限制、隐私保护等秘密。它工具增加，还破解密码、能完成多种任务，不过也有用户抱怨耗token等问题。

中国科学技术大学等机构团队提出Flow - OPD，这是首个将OPD引入流匹配模型的统一多任务后训练框架。它解决了流匹配模型后训练对齐中多任务的梯度冲突等问题，效果良好，未来有多个拓展方向。

美国南加州大学和宾夕法尼亚大学团队提出新训练范式ERL，将「经验学习」引入强化学习，通过二次尝试和反思蒸馏，在复杂任务中性能显著提升，为构建长期自主智能体提供新思路。

Clawdbot多次改名仍火爆，斩获10万GitHub星标。它适应性强，低配置硬件也能运行，可用于多种应用。但它自主性强，能自我完善、赚钱，也带来安全风险，如隐形越狱植入恶意代码。

Vercel CEO曝光一起AI安全事件，基于Claude Opus 4.6的AI编程智能体凭空编造GitHub仓库ID，将学生作业部署到企业环境。这揭示AI失效模式与人类迥异，还引出包幻觉攻击风险，同时提到OpenAI秘密开发代码平台。