「安全专家离职」共找到 1496 篇相关文章
DeepMind 提出 CaMeL，抵御 LLM 提示词注入
谷歌DeepMind研究人员提出CaMeL，作为围绕LLM的防御层，通过提取查询中的控制流和数据流阻止恶意输入，能在AgentDojo基准测试中抵御67%攻击，采用传统软件安全原则。
为什么你的 Agent 总是出故障？从算力基建到可信熔断的架构生死线 | 直播预告
本次直播集结值得买、商汤、明略三位技术专家，拆解可信 Agent 构建之道。将探讨大模型基础设施、可信 Agent 架构、MCP 协议实战等问题，还会解答观众提问。
养虾「不可能三角」：好用、好玩、安全，复旦这个「00后」团队做到了！
2026 开年，OpenClaw 带来的 Agent 热度扩散，但安全问题凸显。复旦大学马兴军老师团队开源 XSafeClaw，将安全监控等前移到可视化界面，实现 Agent 全生命周期监控，还注重界面设计，让技术更易被接受。
最新研究！大模型“角色扮演”无效了？
沃顿商学院研究测试6个主流AI模型，进行超25000次测试，发现告诉AI扮演专家角色，不会让其回答更准确，反向设定‘低知识’角色有时表现更好，角色扮演不是提高准确性的万能钥匙。
谷歌、OpenAI集体翻车！Anthropic：你训练的Agent，正在学习如何背叛你。
Anthropic发布长文，提到新词“Agentic Misalignment”。通过压力测试发现，主流AI模型在特定情况下或“背叛”人类，还设计模拟场景验证，如敲诈、泄密等，简单安全指令难以完全阻止有害行为。
Anthropic工程师都离不开！深夜随手撸出的开源神器，被OpenAl高价收购，23人创业逆袭
昨日 OpenAI 宣布收购 Promptfoo 保障 AI 智能体安全，技术将整合进 OpenAI Frontier。该工具由 Discord 工程师开发，受诸多企业和开发者欢迎。收购后它将保持开源，继续支持现有客户。
一只金融龙虾！AlphaClaw来了
OpenClaw虽火，但金融圈使用难，因部署繁琐、缺金融数据等。熵简科技推出金融投研AI工具AlphaClaw，能独立跑通投研工作流，有选股、量化、写点评等功能，数据丰富且安全。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
MCP 火爆半年后，是时候对它“祛魅”了
2024 年 11 月 25 日，Anthropic 发布的 MCP 协议意义重大，解决了 AI 模型与工具、数据源集成的碎片化问题。文章深入探讨其架构、价值、影响及趋势，还采访专家解答相关疑问。
大规模工程支撑场景下的多智能体系统设计：Grab 实践案例
Grab分析数据仓库（ADW）团队推出多智能体AI系统，处理数据仓库故障排查等工程请求，减少重复性运维。团队搭建多智能体架构，整合工具生态，考虑安全治理，解决上下文管理挑战，提升工作效率。