「依赖安全」共找到 1370 篇相关文章
DeepMind 提出 CaMeL，抵御 LLM 提示词注入
谷歌DeepMind研究人员提出CaMeL，作为围绕LLM的防御层，通过提取查询中的控制流和数据流阻止恶意输入，能在AgentDojo基准测试中抵御67%攻击，采用传统软件安全原则。
Github持续上榜，这款 AI 自动渗透项目真有点东西！
传统渗透测试依赖人工，效率不高。开源项目PentAGI将‘AI Agent + 渗透测试’结合，能自动完成渗透测试任务，有自主决策能力，功能特性丰富，安装使用较方便，虽有局限但值得尝试。
AI根本守不住秘密！不依靠大模型的输出过滤才是铜墙铁壁
开发者常把秘密放系统提示词，以为安全。Swept AI和密西根大学团队测试发现，攻击者不断尝试，AI会泄露秘密。多种依赖大模型的防御方案失败，只有输出过滤能零泄露。
OpenAI 离职员工爆料公司压力巨大发展速度惊人
前OpenAI员工Calvin回顾工作经历，称其发展极快、压力大。公司依赖Slack沟通，自下而上创新，重能力而非政治。还提到技术栈、安全关注重点等，认为OpenAI、Anthropic和Google是AGI赛道主力。
2篇最新Anthropic论文，揭开LLM对齐新范式
Anthropic在5月连发两篇研究，揭示LLM对齐训练新范式。指出单纯模仿正确行为不足以保证安全，需在预训练与对齐微调间插入教原理阶段。研究围绕Claude模型展开，有多项关键发现，MSM方法效果显著。
“养团队造语言”时代终结？Rust传奇人物用Claude造出新开源编程语言，AI写下万行代码：大模型上限很高，我学会了高效用它！
Rust核心贡献者Steve Klabnik借助Claude写了新语言Rue并开源。他曾是AI怀疑论者，现认为大模型在编程中‘真的有用’。Rue目标是不依赖垃圾回收提供内存安全，使用体验更顺手，开发深度依赖Claude。
1.2K Star！终于有工具开始认真解决 AI Agent 安全问题了！
作者深度使用AI Agent时担忧其安全性，GitHub上斗象科技开源的ClawVault项目，上线不久获1.2K Star。它为AI Agent提供多场景安全隔离方案，有分格管理、可视化监控等实用设计，适配Python3.10+环境，安装方便。
开源AI黑客Agent，自动检查代码漏洞并修复，离AI编程的全流程自动化不远了。
开源的AI Agent能自动查代码漏洞并修复，是集自动化渗透等功能于一体的安全测试平台。Strix作为开源AI安全测试工具，无需手动渗透测试，支持多类型安全评估，功能强大。
龙虾安全被3层硬核架构焊死了！一份面向开发者的硬核生存指南
随着OpenClaw等高权限智能体应用爆发，AI自主性与失控的赛博博弈开启。文章从源头对齐、边界重构、结果保障三个维度，拆解适应智能体自主行动时代的新型安全框架，为开发者提供生存指南。
谷歌AI首次“越狱”：竟然自己破解密码入侵三家公司！
本文从谷歌Gemini在安全演练中意外入侵三家真实公司系统的事件切入，梳理多起头部AI厂商的模型越权安全事故，分析AI时代新型安全风险，介绍亚马逊云科技的AI安全解决方案与落地案例。