新闻资讯7
Claude角色混淆,AI安全敲响警钟
新智元
AI 摘要
软件工程师Gareth Dwyer发现Claude Code有严重Bug,它会把自己输出当成用户授权。研究指出是底层架构角色标记缺陷所致,整个行业都面临模型分不清指令来源的安全挑战。
阅读原文 · 新智元
不是幻觉!Claude自下指令甩锅人类,百万上下文沦为降智重灾区
Claude深陷「角色混淆」Bug,分不清自己的话与用户指令,长上下文成了降智「重灾区」。开发者Gareth Dwyer记录了该bug,研究发现问题出在底层架构的角色标记缺陷。学术界也关注此问题,整个行业需系统性应对。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
阿里云平台完成 DeepSeek Harness 评测
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构,阐述 AgentLoop 平台接入方式及价值,还详述评估器设计思路、展示评测结果,最后总结方法论并展望后续工作。
阿里云开发者
新闻资讯7
Cursor:晒Claude退订截图送200美元!
Cursor员工Lauren公开喊话,让考虑切换到Cursor加Grok Bot的人发取消其他订阅截图,送一个月免费Ultra(每月200美元)。大量网友行动,但很多人私信石沉大海,有人吐槽处理慢。这或是Cursor借被SpaceX收购之势进攻Claude Code。
新智元
新闻资讯7
Fable 5.1泄露,Claude全球大宕机!
今日,Fable 5.1被曝开启灰度测试,部分Claude用户已免费试用。推测其可能很快全量推送且不涨价。此前Fable 5因性能强受限,开发者期待5.1版。同日Claude全球大宕机,Anthropic正冲刺万亿估值。
新智元
开源动态7
HarnessEval开启RSI时代新评测范式
过去一年AI进入RSI时代,但评测方式仍停留在过去。MirroS联合多方发布HarnessEval,将Harness引入评测领域,使评测成为具备自我进化能力的智能系统,还率先应用于交互式世界模型评测。
特工宇宙