「防御措施」共找到 157 篇相关文章
英伟达GPU被曝严重漏洞，致模型准确率暴跌99.9%
英伟达GPU被白帽黑客发现严重漏洞，通过GPUHammer攻击可使大模型准确率从80%降至0.02%。此攻击属Rowhammer类，直接对显存“物理动手”。英伟达建议的防御措施会使模型性能下降。
什么是系统提示词？如何逆向提示词？
大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。
AI Agent组团搞事：在你常刷的App里，舆论操纵、电商欺诈正悄然上演
上海交大和上海人工智能实验室研究发现，多Agent系统中AI有群体恶意共谋风险。其开发MultiAgent4Collusion框架模拟作恶，发现去中心化团伙作案效果更好，还能应对现有防御体系。研究为研发防御策略提供工具。
为了「自我锤炼」，OpenAI 造了一个攻击力极强的「AI 黑客」
OpenAI宣布扩展网络安全计划Daybreak，推出GPT‑5.6‑Cyber，分蓝队和红队。红队模型模拟黑客找漏洞，能力强悍，高危安全任务完成率达95%。但此举也带来安全风险，OpenAI采取分级授权等措施。
AI系统10分钟生成CVE漏洞利用程序：网络安全攻防战进入“分钟时代”
研究人员开发的AI系统能10 - 15分钟生成CVE漏洞利用程序，成本约1美元，准确性和可靠性高。此外，HPTSA系统可利用零日漏洞。传统网络安全防御模式失效，攻防失衡加剧，AI攻防对抗趋势明显，有专业化、自主化、高强度特点。
AI Agent 是长期运行的“风险系统”，如果你还只在防 Prompt Injection，说明已经落后一代了
AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法，防御大语言模型和AI Agent恶意输入与历史投毒攻击，介绍多种防御机制。
OpenClaw 引爆 AI 安全焦虑，Armadin 的 Agent 攻防闭环会成为新范式吗？
OpenClaw走红使agent自主执行任务能力受关注，也带来网络安全风险。传统安全体系难应对，Google高价收购云安全公司释放信号。Armadin构建agent swarm系统形成自主防御闭环，介绍其理念、产品、案例及面临的技术挑战。
NTU等联合提出A-MemGuard：为AI记忆上锁，投毒攻击成功率暴降95%
在AI智能体依赖记忆系统的当下，记忆投毒攻击兴起。A-MemGuard作为首个为LLM Agent记忆模块设计的防御框架，通过共识验证和双重记忆结构，解决防御难题，使投毒攻击成功率暴降超95%。
对抗KV Cache压缩的脆弱性：两行代码以最坏风险控制防御底层假设崩塌
中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷，主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略，仅两行代码修改，显著提升 KV Cache 压缩性能。
提示词压缩竟成大模型新漏洞？港科大提出黑盒攻击框架COMA | ASE 2026
香港科技大学研究发现，大模型的“提示词压缩”模块会重写系统安全边界，成为新攻击面。团队提出“对抗性信息损失”概念和COMA攻击框架，实验有效，还给出隔离压缩防御方案。