搜索：安全防御 - AI Reading Hub

「安全防御」共找到 924 篇相关文章

AI Agent组团搞事：在你常刷的App里，舆论操纵、电商欺诈正悄然上演

上海交大和上海人工智能实验室研究发现，多Agent系统中AI有群体恶意共谋风险。其开发MultiAgent4Collusion框架模拟作恶，发现去中心化团伙作案效果更好，还能应对现有防御体系。研究为研发防御策略提供工具。

安全研究团队警告，使用Cursor搭配MCP可能致SQL数据库泄露，攻击者靠一条信息就能实现。MCP被广泛接入，其配置问题成AI应用核心安全挑战。如Supabase MCP，攻击者用留言让Cursor代理复制私密表数据。

Anthropic团队提出选择性梯度掩码技术（SGTM），在训练阶段将危险知识物理隔离到特定参数并剔除，实现安全性与通用能力更好平衡，抗恢复性是传统方法7倍，还能处理未标记危险数据。

当前人工智能与医疗卫生融合机遇大，国家有相关规划，市场规模将大增。但医疗AI发展受数据安全与隐私保护制约。现智合标准中心等组织编制全国首部医疗AI数据安全团体标准，还公开征集起草单位和专家。

2026年2月，安全公司StrongDM公开“软件黑灯工厂”式生产线成果，人类不直接写代码和审查，由Agent自动生成。该模式开源，虽有开发者指出问题，但获学界认可，不过面临成本高的现实问题。

华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。

香港科技大学研究发现，大模型的“提示词压缩”模块会重写系统安全边界，成为新攻击面。团队提出“对抗性信息损失”概念和COMA攻击框架，实验有效，还给出隔离压缩防御方案。

谷歌DeepMind研究人员提出CaMeL，作为围绕LLM的防御层，通过提取查询中的控制流和数据流阻止恶意输入，能在AgentDojo基准测试中抵御67%攻击，采用传统软件安全原则。

因「人为配置」错误，Anthropic最强模型Claude Mythos细节泄露。它编程、推理能力超Claude Opus 4.6，还具备网络攻防能力，但也带来安全风险，Anthropic因担心被黑客利用暂未发布。

本周，闭源模型用户意外发动网络攻击，闭源模型因防护机制无法协助防御，开放模型 GLM 5.2 却助力应对。吴恩达认为应重视模型使用的责任，开放模型能让技术更透明安全。