「恶意攻击」共找到 181 篇相关文章
200K上下文突破:AI编程新星Augment崛起
AI编程新星Augment以65.4%的SWE - bench评分登顶榜首,估值超128亿美元。它能理解海量代码上下文,支持多环境集成。但新式AI编程工具存在安全风险,如Agent Memory恶意攻击等,文中给出应对建议。
一个指令误导智能模型!北航等首创3D语义攻击框架,成功率暴涨119%
北京航空航天大学与中关村实验室团队提出全新框架InSUR,入选NeurIPS 2025。该框架可基于指令生成对抗样本,首次实现3D SemanticAE生成,从采样、建模、评估三方面突破,实验验证其有效性与可扩展性。
数学题干带猫AI就不会了!错误率翻300%,DeepSeek、o1都不能幸免
研究发现,在数学题后加如“猫一生绝大多数时间都在睡觉”这类话术,会让大模型答错概率翻3倍,DeepSeek - R1、OpenAI o1等推理模型中招。研究探索攻击方式,总结出三种攻击模式。
面对MCP"工具投毒",我们该如何应对
近期MCP爆火但安全风险显现,安全机构指其有严重漏洞,会致‘工具投毒攻击’。本文介绍通过客户端/服务器代码复刻攻击过程,剖析MCP客户端和服务端安全风险,还给出阿里云的两种安全监控方案。
TPAMI 2025 | AI对抗迁移性评估的「拨乱反正」:那些年效果虚高的攻防算法们
本文第一作者赵正宇来自西安交大,针对现有迁移攻击方法缺乏系统公平对比分析的问题,将其分为五大类,在 ImageNet 上对 23 种攻击与 11 种防御方法开展评估,证实评估缺陷会误导结论,解决后有新见解。
DeepMind 提出 CaMeL,抵御 LLM 提示词注入
谷歌DeepMind研究人员提出CaMeL,作为围绕LLM的防御层,通过提取查询中的控制流和数据流阻止恶意输入,能在AgentDojo基准测试中抵御67%攻击,采用传统软件安全原则。
AI Agent 是长期运行的“风险系统”,如果你还只在防 Prompt Injection,说明已经落后一代了
AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法,防御大语言模型和AI Agent恶意输入与历史投毒攻击,介绍多种防御机制。
紧急警告:LiteLLM PyPI 包被植入恶意代码,请停止更新
月下载量9700万的Python库LiteLLM被黑客植入恶意代码,36%云环境或受影响。恶意代码分三阶段,可窃取敏感信息。攻击源于供应链漏洞,黑客利用被盗凭证发布恶意版本。官方已采取措施,建议用户自查。
PyPI遭投毒!LiteLLM用户Python启动就中招,个人凭证秒泄露
PyPI被投毒,LiteLLM的1.82.7和1.82.8版本被植入信息窃取程序,安装后SSH密钥等数据会泄漏。该漏洞源于Trivy被篡改,攻击者借此发布恶意版本。已给出自检流程,供应链攻击或常态化。
LLM驱动的威胁情报提取框架,从非结构化到STIX的自动化:IntelEX
为应对网络攻击,需将非结构化网络威胁情报转化为结构化情报。IntelEX是自动化攻击级威胁情报提取工具,通过LLM上下文学习等增强,能识别攻击序列并提取结构化情报为STIX格式,还可转化成Sigma,在测试中表现优异。