「模型安全」共找到 8161 篇相关文章
AI自己给自己当网管，实现安全“顿悟时刻”，风险率直降9.6%
大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。
ICML 2025 Oral | 从「浅对齐」到「深思熟虑」，清华牵头搭起大模型安全的下一级阶梯
在大语言模型加速进入高风险应用场景当下，“安全对齐”是挑战。如今广泛采用的“浅对齐”脆弱不堪。清华团队提出STAIR框架，能提升开源模型鲁棒性，还推出RealSafe - R1模型进行安全对齐。
安全垂类小模型效果能超过大模型？看看以色列Novee的效果
跟踪AI渗透测试等开源应用发现，通用大模型成本高、功能受限。以色列Novee融资5150万美元并发布4B小模型，测试效果超Claude 4 Sonnet。其靠两阶段训练和浏览器反馈提升能力，有投资说明有价值。
具身智能能力狂飙，安全却严重滞后？首个安全可信EAI框架与路线图出炉！
具身人工智能发展迅速，但能力与安全出现“脱钩”。上海人工智能实验室和华东师范大学团队撰写论文，为“安全可信具身智能”建立理论框架与蓝图，提出成熟度模型、分析框架等。
阿里新开源提出建设性安全对齐方案，向“让用AI的人安全”新范式跃迁
阿里巴巴集团安全部联合多高校发布技术报告，提出建设性安全对齐理念并集成到Oyster - I模型。该理念突破传统防御式机制，构建新博弈框架，实验显示该模型在安全和通用能力上达SOTA水平。
OpenAI Astra被曝引入「循环深度」能力飙升！安全专家坐不住了
OpenAI 最强新模型 Astra 或即将发布，它是首个达「关键级」网络安全能力门槛的模型，在测试中表现优异。《The Information》爆料其用「循环深度」技术，能力提升但引发安全专家担忧，该技术可使模型内部计算增多，思维链监控或失效。
ICML 2025 | 给AI装上「智能升级插件」！阿里安全-清华大学D-MoLE让模型在持续学习中动态进化
近日，阿里巴巴集团安全部 - 交互内容安全团队与清华大学联合研究成果被 ICML 2025 收录。他们提出 D - MoLE 框架应对多模态大模型持续学习挑战，实验显示其性能优、训练快，还能用于提升阿里安全审核模型适应力。
大语言模型 + 编程智能体 = 安全噩梦
作者结合黑帽大会英伟达演讲，指出大语言模型和编程智能体扩大攻击面。如攻击者利用公共资源留恶意指令，实施水坑攻击。强大编程智能体虽普及，但易造成安全漏洞，虽有防御措施但效果有限。
刚刚，OpenAI 再次开源！安全分类模型 gpt-oss-safeguard 准确率超越 GPT-5
OpenAI 开源安全分类推理模型 gpt-oss-safeguard，有 120b 和 20b 参数量版本，采用 Apache 2.0 许可证。它能直接理解策略文档分类内容，推理能力超 GPT - 5，性价比高，虽有局限但仍是开发者利器。
AI模型守法率提升11%，港科大首次用法案构建安全benchmark
香港科技大学KnowComp实验室从法律合规视角研究LLM安全，提出「安全合规」新范式。基于法律条文构建benchmark，用GRPO微调Qwen3 - 8B得推理模型，在新benchmark测试中性能提升显著。