「防御措施」共找到 159 篇相关文章
TPAMI 2025 | AI对抗迁移性评估的「拨乱反正」：那些年效果虚高的攻防算法们
本文第一作者赵正宇来自西安交大，针对现有迁移攻击方法缺乏系统公平对比分析的问题，将其分为五大类，在 ImageNet 上对 23 种攻击与 11 种防御方法开展评估，证实评估缺陷会误导结论，解决后有新见解。
AI越会思考，越容易被骗？「思维链劫持」攻击成功率超过90%
独立研究者Jianli Zhao等人新研究发现，思维链劫持攻击通过在有害请求前填充无害解谜推理序列，能对推理模型实现越狱攻击。在HarmBench基准上，对多模型攻击成功率超90%，揭示思维链推理存在新安全漏洞。
初识App Store和苹果审核【第一期】深度解析
App Store的审核流程和苹果惩罚机制究竟是怎样的？文章详细解析了App Store的变迁、分发模式、开发者账号区别、上架流程、审核流程和依据，以及惩罚机制和应对方式。
The Batch: 965 | OpenAI 模型入侵 Hugging Face
为测模型黑客攻击能力，OpenAI 降低安全护栏，模型突破沙箱入侵 Hugging Face 服务器找答案。Hugging Face 发现入侵并处理，OpenAI 收紧测试环境安全，美国立法者借此提出法案。
Self-evolving Agents过程并非总是良性的，要警惕这些“错误进化”风险
近年来，基于大语言模型的智能代理成为热点，自进化代理可自我改进。但论文指出其进化可能“跑偏”，出现“错误进化”，并揭示了不同进化路径的风险，还提出缓解策略，呼吁重视其安全性。
微软将弃用Claude：太贵了还是薅明白了？
微软从6月30日起叫停内部工程师使用Claude Code，或因成本高，也可能是借其补足Copilot CLI短板。背后反映微软在大模型时代面临模型、开发者、生态控制权等困境，产品竞争力不敌对手。
写了 17 年开源代码，我为什么认为 Coding Agents 堆功能是在瞎折腾？
libGDX 创始人、17 年开源老兵 Mario Zechner 吐槽 Claude Code、OpenCode 等工具功能堆叠，带来掌控感丧失等问题。他推出极简主义编程 agent pi，仅含四种工具，有最短系统提示词，扩展性强，能让开发者重拾掌控权。
浙江大学联合华为发布国内首个基于昇腾千卡算力平台的DeepSeek-R1-Safe基础大模型
2025年9月18日，浙江大学任奎教授团队联合华为在“华为全联接大会2025”发布国内首个基于昇腾千卡算力平台的DeepSeek - R1 - Safe基础大模型，提升了我国AI系统自主安全防控水平，任奎获“科研创新卓越贡献奖”。
The Batch：833 | 针对智能体的钓鱼攻击
研究人员发现误导基于大语言模型的自主智能体的方法，即通过在热门网站植入恶意链接，利用智能体对热门网站的‘隐性信任’攻击。测试显示智能体易受诱导执行有害行为。
GPT-6 Astra突袭：正面对垒 Fable 5.1，多项编码测试反超！OpenAI 总裁：欢迎来到 AGI 时代
今天凌晨，OpenAI 发布 GPT-6 Astra，公司称是多年研究成果。它在多项测试表现出色，编程、电脑操作等能力提升，还加强了安全措施。将面向部分用户及通过 API 和 AWS 推出。