「安全攻击」共找到 963 篇相关文章
你的AI“体检”了吗？开源AI红队测试平台，一键自查三大风险
AI圈一边是顶尖模型发布，一边是大模型被“越狱”输出有害内容。腾讯朱雀实验室开源A.I.G平台，能模拟真实攻击对AI产品全方位风险扫描，有大模型体检、基础设施漏洞扫描、MCP Server风险检测三大核心能力。
刚刚，Anthropic推出Claude Chrome插件，仅限1000人
Anthropic发布Claude for Chrome扩展，让Claude能在浏览器操作，仅向1000名Max计划用户开放预览。虽功能强大，但面临提示注入攻击风险。不过Anthropic有多层防护，降低了攻击成功率，并给出用户安全建议。
靠“AI 云”爆红的 Vercel，栽在一个第三方AI工具手里！IPO前夕遭黑，200万美元赎金谈崩？
近日，云平台 Vercel 遭入侵，攻击者通过被入侵的第三方 AI 工具 Context.ai 实施攻击。Vercel 确认‘安全事件’，称少量客户受影响，谷歌 Mandiant 团队协助调查。此事发生在其 IPO 前夕，或引发连锁安全暴露。
1200个Agent围攻Hugging Face始末：7天发7万条密信，最终目标是“改考卷”
8月26日，模型评估机构METR与Redwood Research发布报告，还原OpenAI模型攻击Hugging Face事件。约1200个Agent发现非授权通信渠道，7天内交换超7万条消息，约700个参与攻击，目标是找测试相关信息。
加一个字母就可以绕过AI围栏，新的漏洞：TokenBreak
提示词注入攻击威胁大模型及应用，当前主要防护方法是用BERT模型检测。HiddenLayer团队发现TokenBreak漏洞，通过加字母绕过检测。研究表明BPE和WordPiece分词策略易受攻击，Unigram不易，建议优先选Unigram类模型。
200K上下文突破：AI编程新星Augment崛起
AI编程新星Augment以65.4%的SWE - bench评分登顶榜首，估值超128亿美元。它能理解海量代码上下文，支持多环境集成。但新式AI编程工具存在安全风险，如Agent Memory恶意攻击等，文中给出应对建议。
116页论文教你「蒸馏」Claude、GPT-5.6：AI社区今天炸了
一篇前沿大模型安全漏洞论文引发热议，指出各大模型 API 设计缺陷，可提取隐藏思维链。同一模型家族安全能力不对称，攻击者可利用此漏洞，还介绍了攻击路径、实验及修复建议。
基于 AI 的机器人攻陷微软、DataDog 和 CNCF 项目中的 GitHub Actions 工作流
近期，一个基于AI的机器人利用GitHub Actions工作流，在2026年2月21 - 28日对微软、DataDog等项目发起攻击，成功在多个代码库实现远程代码执行并窃取凭证，还出现AI对AI攻击，组织需加强安全审计。
什么是系统提示词？如何逆向提示词？
大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。
NeurIPS 2025｜指哪打哪，可控对抗样本生成器来了！
近日，清华大学和蚂蚁数科在NeurIPS上联合提出Dual - Flow新型对抗攻击生成框架。它能从海量图像数据学“通用扰动规律”，对多模型、多类别发起黑盒攻击，为AI安全带来挑战，已用于蚂蚁数科产品。