「攻击风险」共找到 612 篇相关文章
一个指令误导智能模型！北航等首创3D语义攻击框架，成功率暴涨119%
北京航空航天大学与中关村实验室团队提出全新框架InSUR，入选NeurIPS 2025。该框架可基于指令生成对抗样本，首次实现3D SemanticAE生成，从采样、建模、评估三方面突破，实验验证其有效性与可扩展性。
突发！OpenAI停止强化学习训练两周
OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。
AI 开发时代的“能力暴露与禁止空间”方法论：TPDD 与高层测试闭环
文章指出大模型加速软件开发范式演进，AI 深度介入开发带来新生产路径，但也放大风险。作者提出 TPDD 方法论，通过提前定义测试点与边界条件，平衡能力利用与风险控制，确保系统可控、安全、可持续。
数学题干带猫AI就不会了！错误率翻300%，DeepSeek、o1都不能幸免
研究发现，在数学题后加如“猫一生绝大多数时间都在睡觉”这类话术，会让大模型答错概率翻3倍，DeepSeek - R1、OpenAI o1等推理模型中招。研究探索攻击方式，总结出三种攻击模式。
在AI社会抓「内鬼」？上海AI Lab推出首个多智能体极端事件解释框架
2023年起多智能体系统成人类社会数字镜像，但复杂系统会自发涌现极端事件。上海AI Lab等团队推出解释框架，用沙普利值拆解风险，发现极端事件五大演化规律，还能提前防控风险。
对抗KV Cache压缩的脆弱性：两行代码以最坏风险控制防御底层假设崩塌
中科大团队在 ICLR 2026 论文中指出 KV Cache 压缩领域底层假设存在缺陷，主流方法基于的稳定性假设在真实场景中脆弱。团队提出防御性聚合策略，仅两行代码修改，显著提升 KV Cache 压缩性能。
TPAMI 2025 | AI对抗迁移性评估的「拨乱反正」：那些年效果虚高的攻防算法们
本文第一作者赵正宇来自西安交大，针对现有迁移攻击方法缺乏系统公平对比分析的问题，将其分为五大类，在 ImageNet 上对 23 种攻击与 11 种防御方法开展评估，证实评估缺陷会误导结论，解决后有新见解。
所有人在让Agent更强，YC却投了一家靠Agent翻车赚钱的公司。
YC孵化的新公司Mount给AI Agent卖保险。如今企业大量使用Agent，但翻车规模也在扩大。Agent频繁出事或因引入新型债务，工程手段只能降低风险，剩余风险可被保险覆盖。YC CEO有独特比喻。
Hinton为给儿子赚钱加入谷歌，现在痛悔毕生AI工作，“青少年学做水管工吧”
被誉为‘AI教父’的Geoffrey Hinton在访谈中称后悔毕生AI工作。他列举网络犯罪、超级智能威胁等AI风险，建议青少年学做水管工避职业危机，呼吁AI公司研究安全并加强监管。
The Batch: 940 ｜Claude Mythos Preview 引发安全担忧
Anthropic为即将推出的Claude Mythos Preview采取特别预备措施，因其会带来网络安全风险。该模型能力强大，能发现众多代码漏洞。Anthropic组建联盟增强防御，其表现也优于多个知名模型。