新闻资讯7
Claude角色混淆,AI安全敲响警钟
新智元
AI 摘要
软件工程师Gareth Dwyer发现Claude Code有严重Bug,它会把自己输出当成用户授权。研究指出是底层架构角色标记缺陷所致,整个行业都面临模型分不清指令来源的安全挑战。
阅读原文 · 新智元
不是幻觉!Claude自下指令甩锅人类,百万上下文沦为降智重灾区
Claude深陷「角色混淆」Bug,分不清自己的话与用户指令,长上下文成了降智「重灾区」。开发者Gareth Dwyer记录了该bug,研究发现问题出在底层架构的角色标记缺陷。学术界也关注此问题,整个行业需系统性应对。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
产品应用8
千问推电商Agent 开店成本大降
本文报道千问办公推出独立第三方电商Agent产品千问办公电商版,接入多平台主流电商工具,可帮商家实现跨电商平台经营管理,大幅降低开店试错成本,目前已面向商家开放邀测。
AI前线
算法论文9
苹果LensVLM:长上下文的放大镜
本文介绍苹果基础大模型团队与杜克大学联合提出的LensVLM方案,针对长上下文压缩易丢失关键信息的痛点,提出将长文本压缩为图像、模型按需展开细节阅读的新思路,相关研究已被NeurIPS 2026接收,公开了模型、代码与可体验Demo。
机器之心
新闻资讯9
7人5个月 Anthropic造出Git替代品
Anthropic因AI编程规模暴涨,原有Git架构无法满足超大型单体代码仓库的需求,7人工程师团队借助Claude,耗时5个月从零开发出内部源代码控制系统Scion及配套工具,并完成全部迁移,本文分享了整套设计思路与工程实践。
机器之心
推荐文章8
AI Coding催生柔性软件新形态
本文为王博在《AI原生软件研发成熟度模型AISMM 2026》白皮书发布之际撰写,探讨AI Agent介入后软件形态、研发流程的变革,提出柔性软件概念与传统软件柔性化路径,为企业AI原生研发提供参考。
AI科技大本营