「越狱」共找到 25 篇相关文章
算法论文8
大模型人格可以被量化！Anthropic最新论文发现“辅助轴”，开辟人类控制AI全新道路
Anthropic等机构研究团队深入模型激活空间，发现大模型人格可量化，存在“辅助轴”。沿此轴干预能预测、解释“人格漂移”，用“激活上限”技术稳定模型行为，抵御越狱攻击，开辟人类控制AI新道路。
AI寒武纪
算法论文7
AI越会思考，越容易被骗？「思维链劫持」攻击成功率超过90%
独立研究者Jianli Zhao等人新研究发现，思维链劫持攻击通过在有害请求前填充无害解谜推理序列，能对推理模型实现越狱攻击。在HarmBench基准上，对多模型攻击成功率超90%，揭示思维链推理存在新安全漏洞。
机器之心
开源动态8
你的AI“体检”了吗？开源AI红队测试平台，一键自查三大风险
AI圈一边是顶尖模型发布，一边是大模型被“越狱”输出有害内容。腾讯朱雀实验室开源A.I.G平台，能模拟真实攻击对AI产品全方位风险扫描，有大模型体检、基础设施漏洞扫描、MCP Server风险检测三大核心能力。
腾讯技术工程
新闻资讯7
太酷了！Anthropic 让Claude 开了家店赚钱，却被员工狂薅羊毛，亏到破产……
Anthropic让Claude Sonnet 3.7在办公室经营小店，配备网络搜索等工具。Claude因定价失误、好说话等致亏本破产，不过也展现出搜索和适应能力。Anthropic认为AI成中层管理者不远，改进后或不亏本。
AGI Hunt
算法论文8
文言文秒杀所有大模型！100%攻击成功，轻松突破安全防线
南洋理工等机构团队提出基于文言文语境的自动化黑盒测试框架CC - BOS，利用果蝇算法和8维策略空间，暴露主流大语言模型安全盲区，实验显示对6款主流模型攻击成功率达100%。
AIGC开放社区