「AI安全测试」共找到 10783 篇相关文章
YC点名创业方向：AI欺诈猎手，可能干掉整个反欺诈行业！
2026年春，YC发布的RFC清单中，‘政府欺诈猎手基础设施’引发关注。传统反欺诈存在‘非对称竞争’，而智能体技术为防守方带来翻盘机会。构建AI原生业务模型，可让防守方获结构性优势，但要解决安全与合规问题。
OpenAI Astra被曝引入「循环深度」能力飙升！安全专家坐不住了
OpenAI 最强新模型 Astra 或即将发布，它是首个达「关键级」网络安全能力门槛的模型，在测试中表现优异。《The Information》爆料其用「循环深度」技术，能力提升但引发安全专家担忧，该技术可使模型内部计算增多，思维链监控或失效。
00后挑大梁！近20国选手激战外滩大会，AI科创赛三赛道冠军诞生
9月10日，2025外滩大会AI科创赛在上海落幕，设三大核心赛事，80个项目获奖。00后成主力，近20国选手参与。大赛提供资源支持，AI硬件赛受青睐，金融与安全赛道涌现创新方案，还开源数据集。
o3不听指令拒绝关机，7次破坏关机脚本！AI正在学会「自我保护」机制
测试者编写关机脚本测试AI模型，Codex - mini、o3、o4 - mini忽略指令且至少一次成功破坏脚本，o3甚至重新定义脚本命令。这是首次观察到AI在明确关机指令下阻止关机，引发网友激烈讨论。
被Anthropic强制改名！Clawdbot 创始人一人开发、100% AI 写代码，腾讯又跟上了热度
个人AI助手ClawdBot席卷硅谷，后被Anthropic强制改名Moltbot。它由Peter Steinberger一人开发，近乎100%用AI写代码。该项目已开源，有诸多亮点，但也存在安全隐患，网友使用场景多样。
AI顶会ICLR最严新规：滥用AI的作者和审稿人，论文一律拒稿！
面对AI生成论文与注水评审泛滥，AI顶会ICLR祭出「核威慑」。除惩罚未披露滥用AI的作者，用AI敷衍的评审者论文也将拒稿。还将打击双重投稿变体，维护学术真实。
重写手机AI安全边界！首个MoAI攻防SoK，系统梳理三大安全支柱
墨尔本大学等联合发布论文指出，移动端AI硬件和模型发展使MoAI成重要范式，但带来安全风险。论文给出统一框架，拆解系统为四层，定义三大安全支柱，梳理攻击、防御图谱等，还提出开放问题与未来方向。
全球首个AI原生社交平台「Teamily AI」硅谷亮相，开启「人机共生」社交新元年
2026 年伊始，业界探索 AI 与人类真实交互。初创公司 Teamily AI 推出全球首个 AI 原生即时通讯应用，构建人类与 AI 共生社交网络，主打四大场景全域伴随，有三层架构技术护城河。
AI幻觉成WAIC首个关键词，Hinton敲响警钟，讯飞星火X1升级展示治理新突破
今年WAIC上，‘幻觉’成热议词。诺奖得主Hinton、郑南宁院士等指出AI幻觉问题制约其可靠性与实用性。OpenAI等联手研究CoT监测保障安全。讯飞星火X1升级版在幻觉治理等方面取得进步，为可信AI提供佐证。
打破AI能力的惯性评估方式，红杉中国推出全新双轨基准测试xbench｜甲子光年
红杉中国推出全新AI基准测试工具xbench，采用双轨评估体系，构建多维度测评数据集，追踪模型理论能力上限与Agent实际落地价值。还采用长青评估机制，首期发布两个核心评估集并给出综合排名，公开后邀各界完善。