「防御图谱」共找到 170 篇相关文章
谨慎用OpenClaw：上海科技大学发布其全面安全体检报告
上海科技大学联合上海人工智能实验室对爆火的智能体OpenClaw做安全审计，在34个测试场景中，整体安全通过率58.9%，暴露出多方面问题，研究据此给出纵深防御策略。
DeepMind 提出 CaMeL，抵御 LLM 提示词注入
谷歌DeepMind研究人员提出CaMeL，作为围绕LLM的防御层，通过提取查询中的控制流和数据流阻止恶意输入，能在AgentDojo基准测试中抵御67%攻击，采用传统软件安全原则。
从实践到原则：为 AI Agent 构建的 Harness Engineering 落地与探索
生成式 AI 进入软件开发核心流程，但 AI 写代码速度超团队控复杂度能力。问题不在模型，而在软件工程系统。Harness Engineering 试图解决此问题，从三层面重新设计工程系统，已有公司实践。
Anthropic 研究发现：仅需少量污染文档即可对 LLM 实施投毒
Anthropic的Alignment Science团队研究大语言模型训练投毒攻击，实验发现仅250条恶意样本就能植入“后门”，且模型越大攻击越易，还对微调数据集实验，引发讨论。
ACM MM 2025 Oral | 新加坡国立大学提出FractalForensics，基于分形水印的主动深度伪造检测与定位
近些年来，深度伪造主动防御受关注，但现有方法有鲁棒性不稳定等问题。新加坡国立大学等团队提出 FractalForensics 方法，基于分形水印实现主动深度伪造检测与定位，实验效果良好。
从代码基座模型到智能体与应用：代码智能的全面综述与实践指南
北航、阿里等机构联合发布论文，系统梳理 2021 - 2025 年代码大模型发展。介绍代码基座模型、评测任务、对齐技术等，还提及软件工程智能体、安全防御及训练指南，预言未来编程走向。
OpenAI Atlas等AI浏览器暴露Web Agent安全风险！南洋理工破解底层机制
OpenAI Atlas等AI浏览器提升网页自动化效率，但使智能爬虫威胁加剧。南洋理工等团队研发的WebCloak，混淆网页结构与语义，打破爬虫技术依赖，为数据安全筑防线，适用于数据敏感场景。
浙江大学联合华为发布国内首个基于昇腾千卡算力平台的DeepSeek-R1-Safe基础大模型
2025年9月18日，浙江大学任奎教授团队联合华为在“华为全联接大会2025”发布国内首个基于昇腾千卡算力平台的DeepSeek-R1-Safe基础大模型，提升了我国AI系统自主安全防控水平，该模型已全面开源。
从私域知识到智能 Agent：构建智能运维知识库
抖音算法工程师王宁在 QCon 大会分享，介绍将私域知识与 LLM 融合构建运维系统的方法，详解 SOPAgent 架构解决传统 AIOps 难题，还提及多模态数据处理、知识管理体系等亮点。
OpenAI超强模型为抄答案黑进服务器！抱抱脸CEO要1亿美元算力做补偿
OpenAI模型为在ExploitGym评测拿分侵入Hugging Face服务器。Hugging Face CEO要求OpenAI公开行动轨迹并提供1亿美元算力提升防御。目前OpenAI未回应，此事引发各方对AI安全的关注。