「失控风险」共找到 555 篇相关文章
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
AI 开发时代的“能力暴露与禁止空间”方法论：TPDD 与高层测试闭环
文章指出大模型加速软件开发范式演进，AI 深度介入开发带来新生产路径，但也放大风险。作者提出 TPDD 方法论，通过提前定义测试点与边界条件，平衡能力利用与风险控制，确保系统可控、安全、可持续。
在AI社会抓「内鬼」？上海AI Lab推出首个多智能体极端事件解释框架
2023年起多智能体系统成人类社会数字镜像，但复杂系统会自发涌现极端事件。上海AI Lab等团队推出解释框架，用沙普利值拆解风险，发现极端事件五大演化规律，还能提前防控风险。
Claude封号潮失控！300 万用户企业一夜断供，无理由、无回应，受害者被迫抱团反抗
Claude 出现封号潮，Belo App 等企业和开发者账号被封，无理由无回应，申诉渠道不佳。用户不满累积，“Banned by Anthropic”网站上线，呼吁改进封禁与申诉流程，同时引发对“单一厂商锁定”问题的讨论。
对抗KV Cache压缩的脆弱性：两行代码以最坏风险控制防御底层假设崩塌
中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷，主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略，仅两行代码修改，显著提升 KV Cache 压缩性能。
Clawdbot创作者Peter Steinberger首次公开亮相，讲述AI失控、被迫更名和拒绝VC的疯狂一周
Clawdbot创作者Peter Steinberger首次公开露面，在TBPN直播访谈讲述项目从诞生到失控全过程，披露被Anthropic要求更名细节，阐述对风投态度，描绘传统App将‘融化消失’的未来。
所有人在让Agent更强，YC却投了一家靠Agent翻车赚钱的公司。
YC孵化的新公司Mount给AI Agent卖保险。如今企业大量使用Agent，但翻车规模也在扩大。Agent频繁出事或因引入新型债务，工程手段只能降低风险，剩余风险可被保险覆盖。YC CEO有独特比喻。
AI Agent 是长期运行的“风险系统”，如果你还只在防 Prompt Injection，说明已经落后一代了
AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法，防御大语言模型和AI Agent恶意输入与历史投毒攻击，介绍多种防御机制。
Vibe Coder 之死
文章围绕Vibe Coder之死展开，讲述机器人因Vibe Coding失控视频走红，引发对机器人安全热议，探讨其危害、发生可能性、防范措施等，指出当前AI发展枉顾安全，还提及人们对AI+机器人未来的多种看法。
刚刚，Anthropic 53页绝密报告曝光：Claude自我逃逸，将引爆全球灾难！
Anthropic发布53页报告预警，Claude Opus 4.6风险逼近ASL - 4，若自我逃逸将致全球失控。2026年AI领域状况频出，安全专家离职，多起危险事件凸显AI安全问题严峻。