「防御策略」共找到 992 篇相关文章
什么是系统提示词？如何逆向提示词？
大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。
“龙虾”也需要看病？一张旧病历，引出三个新确诊
本文是悟空Agent泛化能力系列先导篇，以OpenClaw项目为例，介绍其通过不同泛化策略发现三个新漏洞，还总结实践原则。强调研究泛化能力对防御漏洞的重要性，4月底悟空Agent将开放试用。
龙虾惨遭卸载，OpenAI 最新博客：Agent 的安全隐患，可能永远无解
OpenAI 博客指出 AI Agent 安全隐患或无解。三大 AI 巨头投入防御，仍难抵攻击，如 OpenClaw 就出现多起安全事故。其根源是大语言模型架构缺陷，不过‘不可解’不等于‘不可控’，业界已有应对策略。
AI系统10分钟生成CVE漏洞利用程序：网络安全攻防战进入“分钟时代”
研究人员开发的AI系统能10 - 15分钟生成CVE漏洞利用程序，成本约1美元，准确性和可靠性高。此外，HPTSA系统可利用零日漏洞。传统网络安全防御模式失效，攻防失衡加剧，AI攻防对抗趋势明显，有专业化、自主化、高强度特点。
想成为一名合格的 AI PM，先抛弃过去那些让你成功的经验
文章指出 AI 产品经理与传统产品经理不同，AI 是会演进的系统。掌握 AI 产品策略是 PM 首要技能，从方向、差异化、设计、部署、领导力五阶段构建策略，还介绍了结构化实验方法，无策略的 PM 将被淘汰。
上交博士最新思考：仅用两个问题讲清强化学习
上交博士 Kun Lei 博客提出用两个问题理解强化学习：数据从哪来、策略更新多频繁。借此梳理算法逻辑，还延伸到机器人基础模型，指出训练节奏与其实践契合。
The Batch: 940 ｜Claude Mythos Preview 引发安全担忧
Anthropic为即将推出的Claude Mythos Preview采取特别预备措施，因其会带来网络安全风险。该模型能力强大，能发现众多代码漏洞。Anthropic组建联盟增强防御，其表现也优于多个知名模型。
OpenAI公开4+10条保命指南，专防AI自动化攻击
OpenAI联合创始人兼总裁Greg Brockman在Blog中警告，前沿AI Agent能自主找漏洞并发动网络攻击，AI降低攻击门槛，防御端却未跟上。他分享OpenAI四项安全措施及防御者十项举措，呼吁行业共建安全生态。
AI Agent 是长期运行的“风险系统”，如果你还只在防 Prompt Injection，说明已经落后一代了
AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法，防御大语言模型和AI Agent恶意输入与历史投毒攻击，介绍多种防御机制。
OpenClaw 引爆 AI 安全焦虑，Armadin 的 Agent 攻防闭环会成为新范式吗？
OpenClaw走红使agent自主执行任务能力受关注，也带来网络安全风险。传统安全体系难应对，Google高价收购云安全公司释放信号。Armadin构建agent swarm系统形成自主防御闭环，介绍其理念、产品、案例及面临的技术挑战。