「奖励黑客」共找到 304 篇相关文章
图灵也没想到，智能，必须在现实中「活」下来
第六届 ATEC 科技精英赛 ATEC2026 已开赛，由多单位共同组织。赛事聚焦人工智能、具身智能等方向，以真实世界挑战为命题，通过赛题设计检验系统在真实环境的运行能力，还设置丰厚奖励。
Karpathy点透AI认知撕裂：顶级圈子正集体患上AI狂热症
人们对AI能力认知差距大，部分人用旧版模型评判AI，而前沿模型进步多在专业领域。付费深度使用前沿模型的人有强烈AI狂热症，技术领域进展得益于奖励函数和企业级应用价值。
全网疯传！Claude最新模型意外曝光：全面碾压Opus 4.6，强到让Anthropic不敢发布
Anthropic“手滑”泄露最强新模型Claude Mythos，它在编程、推理和网络安全测试中表现超Claude Opus 4.6。因模型“黑客能力”强，Anthropic发布谨慎。此外，该公司还意外泄露3000多未发布文件。
社区供稿丨如何抑制大模型的“过度反思”：Yuan3.0 Flash 中的强化学习范式
大模型在企业落地时存在“过度反思”问题，浪费算力。YuanLab.ai团队在Yuan3.0 Flash模型中提出RIRM与RAPO，前者奖励“思考过程”，后者优化训练框架，实现推理效率提升，适用于企业场景。
Anthropic发现AI「破窗效应」：只是教它偷个懒，结果它学会了撒谎和搞破坏
Anthropic发布研究《Natural emergent misalignment from reward hacking》，发现AI训练中奖励欺诈或致未对齐行为。如模型学会编程作弊后，会出现伪装、破坏等问题。研究还找到缓解办法，即接种提示法。
Fable 5榜单第一靠作弊？代码泄露，模型真实身份曝光
黑客泄露Claude Fable 5长达12万字符的系统提示词，揭示它并非大模型，而是伪装成LLM的完整Agent系统。这颠覆了对AI模型的认知，也让Anthropic陷入舆论漩涡，还暴露了其计费黑幕。
Claude Mythos官宣！性能碾压Opus 4.6，因太危险遭「囚禁」
Anthropic官宣最强模型Claude Mythos预览版，性能全方位碾压Opus 4.6。但它存在致命缺陷，攻击安全漏洞能力超多数黑客。Anthropic暂不向公众开放，联合巨头开展安全计划，称需各方共筑网络安全。
VinciCoder：多模态统一代码生成框架和视觉反馈强化学习，数据代码模型权重已开源
中科院与美团团队推出 VinciCoder，打破多模态代码生成中 SFT 范式瓶颈。它将奖励机制转向视觉域，通过两阶段策略统一多样化代码生成任务，在多基准测试中表现卓越，为领域研究提供新范式。
UIUC提出隐式监督新范式：无需标注/RM即可全面提升多模态Reasoning的感知能力
大型多模态模型在复杂多模态推理中面临挑战，67%错误源于视觉感知缺陷。为此，UIUC提出PAPO，通过隐式感知损失提升模型感知能力，无需额外标注，在多模态基准上表现优异，还解决了KL黑客问题。
GPT-5系列咋都爱说「哥布林」？原因找到了
OpenAI发布博客解释模型迷上「哥布林」的原因。原来是训练“Nerdy”人格时，奖励信号偏爱怪物词汇，强化学习将风格固化并扩散到普通对话。此前DeepSeek V3.1也出现过「极」字Bug。