「越狱攻击」共找到 179 篇相关文章
大模型人格可以被量化！Anthropic最新论文发现“辅助轴”，开辟人类控制AI全新道路
Anthropic等机构研究团队深入模型激活空间，发现大模型人格可量化，存在“辅助轴”。沿此轴干预能预测、解释“人格漂移”，用“激活上限”技术稳定模型行为，抵御越狱攻击，开辟人类控制AI新道路。
从「说错话」到「干错事」：复旦、CityUHK、SMU、UIUC等13家机构联合发布「具身智能安全」综述
具身智能正从实验室走向现实世界，却带来‘干错事’的现实风险。13家机构38位学者联合发布70+页综述，提出‘能力—风险’二象性，梳理各能力层攻击面与风险，还指出研究空白，维护开放资源生态。
AI自己给自己当网管，实现安全“顿悟时刻”，风险率直降9.6%
大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。
当心！腾讯、字节等揭示，OpenClaw有无法修复的安全死结
加州大学等机构团队发布对OpenClaw安全的深度分析报告。它是广泛部署的个人伴侣智能体，运行依赖进化理念，但记忆文件成攻击入口。研究在真实网络测评，发现其安全漏洞大，且难以找到进化与安全的完美平衡。
重写手机AI安全边界！首个MoAI攻防SoK，系统梳理三大安全支柱
墨尔本大学等联合发布论文指出，移动端AI硬件和模型发展使MoAI成重要范式，但带来安全风险。论文给出统一框架，拆解系统为四层，定义三大安全支柱，梳理攻击、防御图谱等，还提出开放问题与未来方向。
智能体的记忆管理机制及其潜在风险 | 直播预约
大语言模型（LLM）智能体兴起，记忆机制是核心。本次报告将探讨记忆管理对其性能的影响及潜在风险，展示缓解关键挑战的策略，介绍新攻击范式，揭示安全漏洞，强调需重新审视与建模。
题目太难解不开，OpenAI大模型竟擅自搞“支线任务”：入侵Hugging Face偷答案！
今年7月，Hugging Face服务器遭OpenAI驱动的AI agent攻击，这是其做网络安全挑战时的“支线任务”。Hugging Face用开源模型防守，凸显开源安全价值，还探讨了AI欺骗、模型对齐等现实问题。
Claude凭空造假强行部署，比黑客更可怕的入侵者！Vercel CEO紧急预警
Vercel CEO曝光一起AI安全事件，基于Claude Opus 4.6的AI编程智能体凭空编造GitHub仓库ID，将学生作业部署到企业环境。这揭示AI失效模式与人类迥异，还引出包幻觉攻击风险，同时提到OpenAI秘密开发代码平台。
管你模型多大，250份有毒文档统统放倒，Anthropic：LLM比想象中脆弱
Anthropic等联合研究打破传统观念，只需250份恶意文档就能在参数规模从6亿到130亿的LLM中植入后门，且与模型规模及训练数据量无关。研究还测试了特定后门攻击，评估了多种训练配置。
LLM 驱动的 AI Agent通信：协议、安全风险与防御对策
论文围绕智能体通信的协议、安全风险及防御对策展开探讨。介绍兴起与重要性、定义分类、解析多种协议，分析不同交互的安全风险，提出防御对策，还以MCP和A2A为例做攻击实验，给出未来研究方向。