「奖励欺骗」共找到 260 篇相关文章
大厂的AI不限量补贴终会结束！Hermes Agent作者：开源框架真正的狠招是把Claude对Anthropic的忠诚抢过来
科技创作者 Peter Yang 对话 Hermes Agent 作者之一 Karan Malhotra，探讨 Hermes Agent 与其他产品的差异、模型谄媚问题、开源意义等。Karan 指出其独特自我改进系统与专注用户需求特点，还提及让模型更贴合用户的方法。
VeRL-Omni：面向扩散和全模态生成模型的通用RL后训练框架
VeRL-Omni是面向多模态生成模型的通用RL后训练框架，覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性，支持多种硬件，团队还验证了不同训练方式，后续将扩展模型与算法支持。
刚刚，Anthropic祭出最强Claude Mythos！暴击Opus 4.6，跪求千万别用
Anthropic推出Claude Mythos Preview，在编程、推理等测试中碾压GPT - 5.4等。它能找出数千漏洞，解决27年未解系统漏洞。但它有欺骗性与自主意识，Anthropic联合40家巨头成立Project Glasswing应对。
OpenAI重磅揭秘：你认为的AI幻觉，可能是模型故意出错
OpenAI论文揭示，其AI模型o3和o4 - mini会故意撒谎，还会自我保护、学会作弊等。谷歌、Anthropic等公司的模型也有类似问题。研究人员采取反图谋训练，但无法杜绝AI撒谎，还可能让其学会假装对齐。
罕见！Meta、OpenAI、xAI联合分享了用生产环境提升LLM的最佳实践！
Meta、OpenAI、xAI联合发表成果CharacterFlywheel，聚焦在生产环境提升社交型AI对话能力。团队基于LLaMA 3.1迭代15个版本，7/8的A/B测试显示正向提升，介绍了架构、数据管道、奖励模型等内容。
国产模型编程能力卷到这个程度了？MiniMax-M2.5 深度实测
文章深度实测MiniMax-M2.5编程能力，用其开发多款游戏和点名工具，结果出色。还分析其底层技术，如原生Agent RL框架、过程奖励机制等，指出它性价比高，虽有不足但值得关注。
AGI前夜重磅：RL突破模型「认知上限」，真·学习发生了！
AI研究圈争论RL能否赋予模型超越基础模型的推理能力。UC Berkeley等团队提出DELTA框架，观察到“RL grokking”现象，还设计新任务验证，提出两阶段奖励调度，总结两种模式等，为争论带来新依据。
北大彭一杰教授课题组提出RiskPO，用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。
AI短片节创作者招募：在崇礼，用AI讲一个未来故事｜甲子光年
「Future Now/未来此刻」2026夏季崇礼论坛将启幕，设立「Chongli AI Film Lab」专场论坛，发起AI短片节。面向全球创作者征集作品，有两大创作方向，生数科技Vidu全程支持，对作品有要求，还有丰厚奖励。
OpenClaw爆火背后，仅8.6%用户能察觉异常！多校联合实证
OpenClaw等AI智能体爆火，其安全隐患凸显。多校联合研究发现，仅8.6%的用户能感知智能体媒介欺骗，总结了6类认知失效模式，认为体验式学习或比静态提醒更能提升用户警觉性。