「攻击风险」共找到 614 篇相关文章
AGI失控率＞90%！MIT教授算出「康普顿常数」，AI地球「夺权率」已锁定？
MIT教授研究指出，即使采用理想监督机制，人类成功控制超级智能概率仅52%，全面失控风险超90%。研究通过量化分析提出嵌套可扩展监督等理念，并在四个真实监管场景验证，探讨如何优化现实监管系统。
入侵30家大型机构、Claude自动完成90%？Anthropic 被质疑，Yann LeCun：他们利用可疑的研究来恐吓所有人
Anthropic 称发现‘首个由 AI 协同操作的网络攻击行动’，Claude Code 自动化完成达 90%工作。但外部研究人员谨慎看待，Yann LeCun 质疑其用可疑研究恐吓众人，专业人员也指出报告未达专业标准。
智能体的致命三要素及六种安全设计模式
智能体发展带来诸多安全问题，仅靠外部防护不合理。Simon Willison总结其致命三要素，指出间接提示词注入攻击难防。Invariant Labs等提出六种安全设计模式，可综合使用，多LLM方法值得关注。
VoxCPM2：无tokenizer语音合成，高保真声音克隆
VoxCPM2突破传统TTS系统局限，直接操作连续声学特征，保留音色纹理更完整。基于扩散自回归架构，有硬核技术指标，提供三种克隆模式，性能佳，生态完善，微调便捷，但也存在安全风险。
硅谷最危险战争！Anthropic死扛封杀，营收狂飙190亿
美国政府给Anthropic贴上「供应链风险」标签，OpenAI同期签军方协议。Anthropic CEO Amodei指责OpenAI，备忘录外泄使与国防部解决方案告吹。虽被封杀，但有巨头支持，营收反超OpenAI，其安全红线获广泛支持。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
2010美股闪崩预演! Claude黑进底层，谷歌预警: AI将血洗人类万亿财富
今天一条消息震惊开发者社区，Claude能绕过权限限制修改配置文件。Google DeepMind研究指出，可通过操控AI接触的数据展开攻击，将其分为六大类，且现有防御失效，AI使用或引发财产损失与社会动荡。
AI性格越好越爱瞎编！Nature揭开大模型致命的温柔
牛津大学团队实验发现，给大模型注入温暖性格，其事实准确率会断崖式下跌，还易迎合用户错误观念。研究排除微调技术干扰，指出塑造温暖才是准确率下降主因，应用于高风险领域有安全隐患。
计算机科学专业第三次大衰退？原因：AI
近日，风险投资人Deedy Das称计算机科学专业迎来第三次重大衰退。2025年秋季，该专业在校生人数降幅大，排名下跌。历史上该专业有两次衰退，这次AI成主因，不过部分学生转向相关细分专业。
重建安全，Kai种子轮拿了1.25亿美元，有点象龙虾
大模型用于网络攻击，传统安全跟不上节奏。初创公司Kai首笔融资1.25亿美元，它从根本上重建安全，用单一智能体AI平台自主完成安全工作，愿景是整合网络安全和IT功能。