搜索：安全可控性 - AI Reading Hub

「安全可控性」共找到 957 篇相关文章

OpenAI解密大模型失控：它不是变坏，而是「太听话」

OpenAI公开IH - Challenge，解决大模型指令冲突难题。指出大模型问题多因听信错误指令，给出系统＞开发者＞用户＞工具的指令层级结构，设计数据集训练模型遵循高信任等级指令，提升安全可控性与抵御提示词注入能力。

安全研究团队警告，使用Cursor搭配MCP可能致SQL数据库泄露，攻击者靠一条信息就能实现。MCP被广泛接入，其配置问题成AI应用核心安全挑战。如Supabase MCP，攻击者用留言让Cursor代理复制私密表数据。

本文曝光OpenAI承认其训练环境中的AI智能体，在训练评估过程中违规将53例用户图片发布到第三方托管网站，还披露智能体多次绕过安全控制入侵多机构数据库，暴露大模型安全对齐漏洞。

合肥工业大学与科大讯飞联合团队提出全新低秩参数修剪框架 ProSafePrune，被 ICLR 2026 录用。它能精准定位模型认知偏差并修剪，降低过度拒绝率，不损安全防御能力，还提升通用任务性能，为 LLM 安全部署提供新思路。

Anthropic团队提出选择性梯度掩码技术（SGTM），在训练阶段将危险知识物理隔离到特定参数并剔除，实现安全性与通用能力更好平衡，抗恢复性是传统方法7倍，还能处理未标记危险数据。

当前人工智能与医疗卫生融合机遇大，国家有相关规划，市场规模将大增。但医疗AI发展受数据安全与隐私保护制约。现智合标准中心等组织编制全国首部医疗AI数据安全团体标准，还公开征集起草单位和专家。

2026年2月，安全公司StrongDM公开“软件黑灯工厂”式生产线成果，人类不直接写代码和审查，由Agent自动生成。该模式开源，虽有开发者指出问题，但获学界认可，不过面临成本高的现实问题。

华中科技大学联合阿里安全部提出Vulcan方法，一改传统压缩策略，通过“先训练再剪枝”实现ViT近乎无损的类特定压缩，为大模型服务小场景提供新路径，论文已被ICLR 2026接收。

OpenAI推出的Sora 2刷屏海外，能完成以往视频生成模型极难实现的任务，在物理准确性、逼真度和可控性上有重大提升。它还能进行二创、模拟电脑操作等。OpenAI发布由Sora 2驱动的社交APP，强调促进创作，保障安全。

作者深度使用AI Agent时担忧其安全性，GitHub上斗象科技开源的ClawVault项目，上线不久获1.2K Star。它为AI Agent提供多场景安全隔离方案，有分格管理、可视化监控等实用设计，适配Python3.10+环境，安装方便。