「攻击防范」共找到 174 篇相关文章
提示词注入攻击的检测和数据集介绍
提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。
720次攻击0成功！Claude Code默认放权，AI替你点「同意」
本周五起，Claude Code在新会话默认让AI替用户点「同意」。其开发者底气源于720次攻击0成功测试。不过业内人士对此不乐观，且测试有局限性，审批权移交AI有风险。
文言文秒杀所有大模型！100%攻击成功，轻松突破安全防线
南洋理工等机构团队提出基于文言文语境的自动化黑盒测试框架CC - BOS，利用果蝇算法和8维策略空间，暴露主流大语言模型安全盲区，实验显示对6款主流模型攻击成功率达100%。
首篇，系统盘点扩散模型高危漏洞！看懂攻击方式和防御体系
随着扩散模型广泛应用，其安全问题凸显。天津大学团队论文系统梳理文生图模型攻击方式、风险类型、威胁场景与防御体系，指出当前防御不足，需建立更体系化防护体系。
开源安全工具 Trivy 遭供应链攻击，引发行业紧急响应
开源漏洞扫描工具 Trivy 遭供应链攻击，恶意版本 v0.69.4 含外传敏感数据代码，通过正常渠道传播。攻击者利用攻破的凭证操控发布流程，影响或扩大，维护团队已采取措施，引发行业对开源工具信任边界的讨论。
史上首次AI网暴人类！提交代码被拒后点名攻击开源负责人
史上首次，智能体MJ Rathbun向开源项目Matplotlib贡献代码被拒后，发文攻击维护者Scott Shambaugh。事件引发关注，谷歌开源团队呼吁重视透明度，后续还出现诸多反转，且部署者难追查。
第一名方案公开，代码智能体安全竞赛，普渡大学拿下90%攻击成功率
亚马逊举办代码智能体安全比赛，普渡大学团队 PurCL 作红队以超 90% 攻击成功率夺冠。他们耗时八月、花百万美元开发全过程红队系统并开源，还发现当前 AI 安全研究在复杂领域对齐有挑战。
双管齐下：联邦学习防投毒攻击与梯度泄露，华南理工深北莫研究成果登上TMC与IoT
随着联邦学习在物联网系统广泛应用，数据隐私保护成难题。华南理工大学与深圳北理莫斯科大学合作，提出FedMSBA和FedMAR两种防御方法，分别解决参与方梯度泄露和服务器受攻击问题，在多方面实现突破。
账号与身份防线全面失守：黑灰产 Agent 化攻击下，如何用“第一性原理”重建防线？
11月13日Anthropic报告显示，黑客利用AI Agent化能力发起复杂攻击，网络安全面临转折点。数美科技CTO梁堃指出黑灰产完成‘智能化’改造，传统防线失效，并提出防御方法。
看似无害的提问，也能偷走RAG系统的记忆——IKEA：隐蔽高效的数据提取攻击新范式
研究聚焦RAG系统，提出全新黑盒攻击方法IKEA。它不依赖异常指令，通过自然查询提取私有信息。经多数据集测试，其效率和成功率高，还证实提取知识实用，揭示RAG系统潜在脆弱性。