「奖励模型漏洞」共找到 7905 篇相关文章
抖音&LV-NUS开源多模态新模，以小博大刷新SOTA，8B推理比肩GPT-4o
抖音SAIL团队与LV - NUS Lab联合推出多模态大模型SAIL - VL2，以中小参数规模在106个数据集实现性能突破。该模型从架构、数据、训练三方面创新，后经全链路优化，在多数据集验证中表现卓越。
GPT-6要「活」了？MIT新作曝光，AI「自进化」不远了
麻省理工学院推出全新自适应大模型框架「SEAL」，让模型从「被动学习者」变为「主动进化者」。网友猜测GPT - 6可能整合其能力，成为能自主学习的模型，研究虽有局限，但为大模型自进化提供新路径。
一段 signature，不仅撬开了 Opus 的隐藏推理，还让 Kimi、GLM 露出了"熟悉感"
研究者发现，将 Opus 等强模型返回的加密推理块交给同家族弱模型，弱模型可能转写出隐藏内容。如用 Haiku 读取 Opus 的加密信息。此外，公开的 Agent 轨迹存在隐私泄露风险，部分开源模型易受 Opus 风格影响。
GRPO训练不再「自嗨」！快手可灵 x 中山大学推出「GRPO卫兵」，显著缓解视觉生成过优化
GRPO在视觉生成流模型后训练阶段有显著提升，但clip机制存在系统性偏差，易使模型陷入过度优化。中山大学、快手可灵等团队提出GRPO - Guard，能降低过度优化风险，在多种任务中表现良好。
AI不是比人聪明，是输得起！菲尔兹奖得主点破OpenAI十项成果
OpenAI发布内部版模型Astra的十项成果，引发数学界震动。菲尔兹奖得主Timothy Gowers分析其成果，指出AI优势在‘输得起’，还探讨找例方法、模型短板，给出训练建议与衡量跨越门槛的标准。
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
灵初智能陈源培：一个 00 后的机器人之梦
00 后陈源培是灵初智能联创，本科土木工程专业，大二因比赛对机器人感兴趣。他研究灵巧手，参与开源项目，灵初发布相关模型。他认为强化学习对灵巧手重要，还谈了模型、创业、落地等看法。
Meta｜提出RECAP，通过动态目标重加权回放，解决RLVR遗忘【文末送书！Agent相关】
近年来，可验证奖励强化学习（RLVR）提升了大模型在多任务上的性能，但带来“能力退化”问题。Meta等提出RECAP策略，结合“回放”与“动态目标重加权”，保持模型通用能力，提升推理性能，还提高推理效率。
无需外部数据！AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
大厂的AI不限量补贴终会结束！Hermes Agent作者：开源框架真正的狠招是把Claude对Anthropic的忠诚抢过来
科技创作者 Peter Yang 对话 Hermes Agent 作者之一 Karan Malhotra，探讨 Hermes Agent 与其他产品的差异、模型谄媚问题、开源意义等。Karan 指出其独特自我改进系统与专注用户需求特点，还提及让模型更贴合用户的方法。