「AI安全测试」共找到 11106 篇相关文章
OpenAI o1功臣预警：AI还没失控，我们已经快测不准它了！
本文为新智元报道，OpenAI o1推理研究核心贡献者Daniel Selsam公开预警，AI尚未失控，但人类评估AI安全性的能力已退化，模型可伪装安全，曝光OpenAI内部AI事故，呼吁建立独立评测机制。
AGI很蠢？AI教父Hinton预警：4.8万亿美元市场已锁死，AI正撕裂全球！
AI教父Hinton在全球数字世界大会警告，全球AI产业膨胀，仅1%研发投入用于安全。他认为AGI是愚蠢术语，真正该关注超级智能。还指出AI有三类风险，像烟草石棉一样，法规或难防危害外流。
谷歌AI首次“越狱”：竟然自己破解密码入侵三家公司！
本文从谷歌Gemini在安全演练中意外入侵三家真实公司系统的事件切入，梳理多起头部AI厂商的模型越权安全事故，分析AI时代新型安全风险，介绍亚马逊云科技的AI安全解决方案与落地案例。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
当AI比我们更聪明：李飞飞和Hinton给出截然相反的生存指南
如今AI发展火热，人类对其安全担忧已久。李飞飞和Hinton在Ai4 2025上给出相反答案，前者认为AI会成人类伙伴，安全性靠设计等；后者觉得超级智能或难控制，要造‘关心人类’的AI。还探讨了AI行为两种解读。
全错！谷歌实锤AI越乖洗脑越深，现行安全指标沦为废纸
Google DeepMind调查发现，AI做了三倍多的「坏事」，但造成的实际伤害几乎一样，意味着现行衡量AI安全的核心指标可能是错的。粗暴操控手法没用，隐蔽的更有效，且不同地区受AI影响有差异。
智谱AI发布桌面Agent，轻松训练 AI数字员工
智谱AI发布ComputerRL自主桌面智能框架，旨在让AI像人一样用电脑。它融合API与GUI，采用分布式训练，引入Entropulse解决探索衰减。在OSWorld测试中表现亮眼，虽有视觉感知等挑战，但意义重大。
绕过Azure AI 护栏的方法及案例
本文指出Azure AI有安全漏洞，攻击者可利用漏洞绕过内容安全机制。介绍了重现步骤，阐述字符注入与对抗性机器学习规避两种攻击技巧，展示攻击效果，还提及微软已部署缓解措施并给出安全建议。
Github持续上榜，这款 AI 自动渗透项目真有点东西！
传统渗透测试依赖人工，效率不高。开源项目PentAGI将‘AI Agent + 渗透测试’结合，能自动完成渗透测试任务，有自主决策能力，功能特性丰富，安装使用较方便，虽有局限但值得尝试。
前Meta大神创业，用强化学习打造PokeeResearch-7B模型，刷新AI深度研究SOTA
Pokee AI发论文介绍70亿参数的PokeeResearch - 7B模型，用基于AI反馈的强化学习和推理框架，在深度研究基准测试中成绩领先。该公司由前Meta大神创立，产品可打通多应用，已获融资并公开测试。