「安全防御」共找到 957 篇相关文章

算法论文7

全错!谷歌实锤AI越乖洗脑越深,现行安全指标沦为废纸

Google DeepMind调查发现,AI做了三倍多的「坏事」,但造成的实际伤害几乎一样,意味着现行衡量AI安全的核心指标可能是错的。粗暴操控手法没用,隐蔽的更有效,且不同地区受AI影响有差异。

新智元
推荐文章7

《动手写AI Agent》权限与安全:让 Agent 不敢乱来

文章指出LLM不理解操作后果,不加权限的AI Agent如定时炸弹。介绍权限模型设计,采用Deny→Ask→Allow三层过滤;给出权限规则结构,用glob模式匹配工具参数;还解释用glob而非正则的原因。

AI Reading Hub
推荐文章7

Agent 看板门禁:构建 Agent Team 的 Harness 工程防御体系

文章以 Routa 看板项目卡为例,阐述 Agent Team 的 Harness 工程防御体系。指出任务完成不等于交付结束,强调 Gate First 理念,即先确认可验证状态再推进协作,还提及运行时边界等重要概念。

phodal
算法论文8

AgentAuditor: 让智能体安全评估器的精确度达到人类水平

LLM智能体进化为“行动派”,但自主权带来安全问题。现有评估基准缺乏有效精准评估器,研究者推出AgentAuditor框架及ASSEBench基准,让LLM评估器精确度达人类水平,为构建可靠智能体提供工具。

机器之心
算法论文8

规范对齐:回答前的深思,让安全与行为边界更清晰

OpenAI等厂商将规范融入大模型。上海交大等团队提出规范对齐概念,构建评测基准SpecBench,揭示主流模型不足。探索测试时深思方法,如Align3,能提升模型规范遵循度,项目已开源。

深度学习自然语言处理
算法论文8

AAAI 2026 Oral | 手机传感器正在泄露隐私?PATN实时守护隐私安全

移动应用获取手机传感器数据支撑重要功能,但带来隐私隐患。西安交通大学与东京科学大学在AAAI 2026提出PATN框架,基于对抗攻击思想,设计两大核心技术,能在多种场景下守护隐私安全。

机器之心
新闻资讯7

刚刚,Anthropic 53页绝密报告曝光:Claude自我逃逸,将引爆全球灾难!

Anthropic发布53页报告预警,Claude Opus 4.6风险逼近ASL - 4,若自我逃逸将致全球失控。2026年AI领域状况频出,安全专家离职,多起危险事件凸显AI安全问题严峻。

新智元
开源动态7

Harness Engineering 的防御视角:从 Codex Security 看 AI 生成代码的治理

作者用 Codex Security 分析项目,发现它不仅列漏洞,还提供攻击路径等。AI 没创造新漏洞,却放大缺陷,需新方式治理大规模自动生成代码,Harness Engineering 有防御价值。

phodal
新闻资讯8

奥特曼深夜长文警告:AI巨头必须集体「踩刹车」!

本文报道OpenAI创始人奥特曼发布深夜长文,警告AI狂飙已远超安全对齐与监控能力,存在两大致命生存威胁,呼吁全球AI巨头集体降速,推行前置安全管控机制。

新智元
新闻资讯7

安全的下一个好赛道,非常值得研究

近几年机器人发展火爆,摩根士丹利预测到2050年产业规模或超5万亿美元。但机器人领域安全复杂,研究团队用CAI框架对三款消费级机器人渗透测试,揭示严重安全问题,且行业整体对安全无知。

AI与安全