「奖励模型漏洞」共找到 7856 篇相关文章
GPT-5系列咋都爱说「哥布林」？原因找到了
OpenAI发布博客解释模型迷上「哥布林」的原因。原来是训练“Nerdy”人格时，奖励信号偏爱怪物词汇，强化学习将风格固化并扩散到普通对话。此前DeepSeek V3.1也出现过「极」字Bug。
VLM会描述视频，却未必用对参考图：RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。
AI越会思考，越容易被骗？「思维链劫持」攻击成功率超过90%
独立研究者Jianli Zhao等人新研究发现，思维链劫持攻击通过在有害请求前填充无害解谜推理序列，能对推理模型实现越狱攻击。在HarmBench基准上，对多模型攻击成功率超90%，揭示思维链推理存在新安全漏洞。
苹果再发论文：精准定位LLM幻觉，GPT-5、o3都办不到
近日苹果发布重磅论文，提出 RL4HS 方法，用强化学习训练模型，能准确标出答案中幻觉部分，还使用片段级奖励和类别感知的 GRPO，在片段级幻觉检测任务上超 GPT - 5 和 o3。
Meta&UIUC大发现：无需标注，Agent复杂的工具使用和搜索能力，是可以“无中生有”的
Meta和UIUC研究发现，无需标注，Agent复杂工具使用和搜索能力可“无中生有”。论文Dr. Zero让大模型自我博弈成搜索专家，用HRPO提效，设计难度导向奖励，实验表现佳，但也存在局限。
中科大 × 华为联合突破！SparseRM：1% 参数实现 LLM 偏好建模高效革新
中科大与华为联合提出SparseRM轻量级偏好建模方案，基于稀疏自编码器构建低参可解释奖励模型。实验显示它用不到1%可训练参数，在多任务中性能优，还能融入下游对齐流程，为LLM高效对齐提供新可能。
模型大一统？1100多个模型殊途同归，指向一个「通用子空间」！
约翰斯・霍普金斯大学研究发现，1100多个不同神经网络，即便训练条件不同，最终权重会收敛到共享低维子空间。此研究为神经网络参数空间“通用性”提供严谨实证，虽成因待探索，但意义深远。
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
隐形束缚：RLVR为何无法突破LLM的推理边界？
大型推理模型进展依赖带可验证奖励的强化学习（RLVR），但它能否扩展模型推理能力存疑。本文通过理论证明与实验，揭示RLVR存在“隐形束缚”，只能在基座模型初始能力内优化，难以发现新解。
谷歌神秘模型Kingfall泄漏！
近日，谷歌AI模型Kingfall在AI Studio平台短暂开放后意外曝光。它具备多模态处理能力，上下文窗口6.5万个token，有两种模式。生成SVG矢量图能力超Claude 4，身份猜测不断。