算法论文8
徐兴成:强化学习藏‘策略悬崖’危机
机器之心
AI 摘要
上海人工智能实验室徐兴成博士:强化学习用于大模型有隐患,‘策略悬崖’会致模型行为剧变。其由最优策略多解性和奖励函数不完备性导致,研究为AI安全和对齐提供理论启发。
阅读原文 · 机器之心
研究者警告:强化学习暗藏「策略悬崖」危机,AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法,但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战,分析其成因,解释多种对齐失败现象,并提出对AI研究的启示。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文9
RoboFoundry让具身智能自主进化
多家国内外高校和机构提出全新具身智能框架RoboFoundry,固定基座模型参数,仅进化模型周边的系统组件,实现具身智能体自主迭代升级,多项基准测试和真机实验性能提升显著。
机器之心
新闻资讯9
无问芯穹23亿融资 刷新AI Infra纪录
AI原生基础设施服务商无问芯穹完成23亿元C轮融资,累计融资达43亿元,创下国产AI原生基础设施赛道单轮、累计融资双纪录。公司定位模型与芯片中间层,整合异构算力降本提效,已递交港交所IPO申请。
量子位
新闻资讯8
微软推出快速决策模型Microsoft-Decision-1
本文报道微软推出针对AI应用内部高频固定判断任务的快速决策模型Microsoft-Decision-1,介绍了其功能定位、测试表现与适用场景,说明它可配合通用大模型降本提速。
AIGC开放社区
推荐文章9
YC CEO:真正AGI就在你电脑里
本文编译YC CEO Garry Tan在2026 Startup School的演讲,近期Meta、OpenAI、Google等巨头集体布局个人AI Agent,Garry Tan提出个人AGI新路线,分享搭建方法,探讨个人认知所有权问题。
InfoQ