「对抗攻击」共找到 217 篇相关文章
不安全指令，一拒了之？TRIAD用三路决策：修复AI智能体的危险计划
墨尔本大学团队开源TRIAD框架，将传统二元护栏决策扩展为继续、更新、拒绝三类。通过自然语言反馈引导Agent修正计划，在ASB和AgentHarm评测中，显著降低攻击成功率，提升正常任务完成率。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
Vibe Coding 再升级，做世界顶尖的 Agentic Engineering！
过去18个月，AI Coding工具从‘辅助补全’到‘独立编程’质变，决定Agent产出质量核心变量从模型能力转向工程系统。文章探讨工程师角色迁移、Context Engineering、对抗Agent缺陷、长期维护及发展路径等问题。
突发！OpenAI新模型Astra吓瘫奥特曼：暂停训练两周，GPT-6训练一并冻结
OpenAI宣布暂停内部最强大模型强化学习，Astra模型暂停训练两周，GPT - 6也暂停。原因包括Hugging Face安全纰漏和Astra网络攻击能力越线。还采取物理隔离、严格监控、打击作弊等措施，或有营销意图。
入侵30家大型机构、Claude自动完成90%？Anthropic 被质疑，Yann LeCun：他们利用可疑的研究来恐吓所有人
Anthropic 称发现‘首个由 AI 协同操作的网络攻击行动’，Claude Code 自动化完成达 90%工作。但外部研究人员谨慎看待，Yann LeCun 质疑其用可疑研究恐吓众人，专业人员也指出报告未达专业标准。
智能体的致命三要素及六种安全设计模式
智能体发展带来诸多安全问题，仅靠外部防护不合理。Simon Willison总结其致命三要素，指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式，可综合使用，多LLM方法值得关注。
2010美股闪崩预演! Claude黑进底层，谷歌预警: AI将血洗人类万亿财富
今天一条消息震惊开发者社区，Claude能绕过权限限制修改配置文件。Google DeepMind研究指出，可通过操控AI接触的数据展开攻击，将其分为六大类，且现有防御失效，AI使用或引发财产损失与社会动荡。
“这半年，我也用AI救了6条活生生的命啊。”
本文讲述作者用AI对抗癌症的经历，介绍阿里达摩院发布的胃癌早筛模型GRAPE和胰腺癌早筛模型PANDA。作者亲身体验PANDA筛查流程，医生业余投入项目，半年额外发现6个早期患者，令人感动。
SafeHarness：告别防御盲区，为智能体Harness穿上「全生命周期安全护甲」
在自主AI智能体生态中，Harness是核心组件却易成攻击目标。中国科学院信息工程研究所等推出SafeHarness框架，将防御机制融入智能体Harness运行生命周期，解决现有安全工具缺陷，实现系统级协同防御。
Claude Mythos其实没那么神？AI发现bug其实早已是寻常
VIDOC Security Lab博客指出Claude Mythos实力或被高估，用LLM发现漏洞早有先例，他们用多模型扫描开源项目也发现诸多漏洞。AI辅助漏洞发现成威胁，企业需用AI对抗AI积极防御。