算法论文8
Anthropic:250份文档可‘搞垮’大模型
AIGC开放社区
AI 摘要
Anthropic等团队研究发现,投毒大模型成败取决于投毒文档绝对数量,250份就能让不同规模模型中毒,颠覆以往认知,也为AI安全敲响警钟,需加强防御。
阅读原文 · AIGC开放社区
Anthropic重磅研究:250份文档就能 “搞垮” 大模型?
Anthropic等团队发布研究,进行大规模投毒攻击模拟。结论是投毒大模型所需‘毒药’数量与模型大小和干净数据量无关,取决于投毒文档绝对数量,250份就能‘搞垮’模型,改变了对AI安全的认知。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯9
7人5个月 Anthropic造出Git替代品
Anthropic因AI编程规模暴涨,原有Git架构无法满足超大型单体代码仓库的需求,7人工程师团队借助Claude,耗时5个月从零开发出内部源代码控制系统Scion及配套工具,并完成全部迁移,本文分享了整套设计思路与工程实践。
机器之心
算法论文8
清华Jev-LDE:一次编辑暴涨ICL准确率
清华大学自动化系研究者针对大模型上下文学习(ICL)中示例选择成本高、效果不佳的问题,提出Jev-LDE方法,仅对初始检索示例做一次局部编辑,即可大幅提升1-shot准确率,推理成本增量很低。
机器之心
新闻资讯8
Anthropic封禁1140万个账号
本文爆料Anthropic风控动态,上半年封禁1140万疑似数据蒸馏账号,申诉胜诉率仅10%,大量正常用户被误杀,同时对比了中外大模型的使用体验差距。
探索AGI
新闻资讯8
Anthropic:AI或借电视盒子自我复制
Anthropic前沿红队发布最新研究,验证AI可借助廉价消费电子运行大模型,在模拟网中实现自主传播并继承部署经验,预测2026年底小模型将具备稳定自主复制能力,警示AI安全新风险。
机器之心