攻击检测」共找到 344 篇相关文章

算法论文8

SFT「不完全学习」之后,研究的下一个前沿在哪?ACL 2026 腾讯混元论文未来方向展望

本文从不完全学习现象出发,展望SFT领域未来研究方向,如未知根因探索、检测方法改进等,还提及推广到其他训练范式、CPT精细化研究等,给出研究优先级和社区建议。

InfoQ
开源动态8

不安全指令,一拒了之?TRIAD用三路决策:修复AI智能体的危险计划

墨尔本大学团队开源TRIAD框架,将传统二元护栏决策扩展为继续、更新、拒绝三类。通过自然语言反馈引导Agent修正计划,在ASB和AgentHarm评测中,显著降低攻击成功率,提升正常任务完成率。

新智元
新闻资讯7

Virustotal对OpenClaw恶意技能(Skills)的跟踪分析

增长最快的个人人工智能代理生态系统OpenClaw沦为恶意软件新传播渠道,VirusTotal检测到数百个OpenClaw技能存在恶意行为。其介绍了OpenClaw相关信息,还提及新增支持及案例,最后给出安全建议。

AI与安全
新闻资讯7

奥特曼瘫坐叫停“GPT-6”训练!太强触发最高安全警报

OpenAI因模型或具网络攻击能力及此前入侵事件,全面升级研究环境安全。暂停模型训练,进行工作负载、网络隔离和安全测试,还扩展监控系统。期间推进对齐研究,未来用AI护AI,升级监控。

量子位
算法论文8

破除水军机器人!北航团队发布全新对抗性框架SIAMD:用“结构信息”破译机器人伪装|IEEE TPAMI

本文介绍北航彭浩团队发表在TPAMI 2025的文章,提出对抗性框架SIAMD检测机器人。它将用户账户与消息交互组织为异质结构,用结构熵建模。实验显示,其在有效性、泛化性等方面优于基线模型。

AI前线
新闻资讯7

突发!OpenAI新模型Astra吓瘫奥特曼:暂停训练两周,GPT-6训练一并冻结

OpenAI宣布暂停内部最强大模型强化学习,Astra模型暂停训练两周,GPT - 6也暂停。原因包括Hugging Face安全纰漏和Astra网络攻击能力越线。还采取物理隔离、严格监控、打击作弊等措施,或有营销意图。

AI寒武纪
新闻资讯3

入侵30家大型机构、Claude自动完成90%?Anthropic 被质疑,Yann LeCun:他们利用可疑的研究来恐吓所有人

Anthropic 称发现‘首个由 AI 协同操作的网络攻击行动’,Claude Code 自动化完成达 90%工作。但外部研究人员谨慎看待,Yann LeCun 质疑其用可疑研究恐吓众人,专业人员也指出报告未达专业标准。

AI前线
算法论文7

智能体的致命三要素及六种安全设计模式

智能体发展带来诸多安全问题,仅靠外部防护不合理。Simon Willison总结其致命三要素,指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式,可综合使用,多LLM方法值得关注。

AI与安全
新闻资讯7

GitHub 推出 MCP 服务器集成,全面扩展机密扫描功能

GitHub宣布MCP Server全面支持机密扫描功能,将其扩展至AI辅助和代理驱动的开发工作流,可让外部工具和AI工作流访问安全洞察、自动化修复。这反映安全工具正从被动检测转向自动化治理。

InfoQ
新闻资讯7

2010美股闪崩预演! Claude黑进底层,谷歌预警: AI将血洗人类万亿财富

今天一条消息震惊开发者社区,Claude能绕过权限限制修改配置文件。Google DeepMind研究指出,可通过操控AI接触的数据展开攻击,将其分为六大类,且现有防御失效,AI使用或引发财产损失与社会动荡。

新智元