「越狱」共找到 23 篇相关文章
OpenAI和Anthropic罕见互评模型：Claude幻觉明显要低
OpenAI和Anthropic罕见合作，互相授予API权限评估模型安全与对齐情况并发布报告。双方派出多模型参与，从指令层次、越狱、幻觉、欺骗策略等方面评测，呈现各模型优缺点。
深夜突袭！谷歌Gemini 2.5 Pro更新蝉联榜一：推理超越o3，编程超越opus4
深夜谷歌对Gemini 2.5 Pro模型重大更新，在编码、推理等测试中超越o3，几周内成稳定版。其价格优势大，还增加思考预算，输出风格和结构改进，用户实测反馈佳，但发布不久被越狱攻击。
OpenAI与Anthropic罕见合作：竞争对手联手测试AI安全
OpenAI和Anthropic完成联合评估，用内部工具测对方模型并公开结果。测试覆盖指令层级、越狱等四大领域，还发现不少细节和道德困境情况。此次合作意义重大，为行业树立安全合作先例。
Claude一夜爆更自修bug，PR自己绿了！全球程序员：「摸鱼」正式合法
Claude Code上线「云端自动修复」功能，可自动跟进PR，排查问题、写代码并推送，解放开发者双手。同时，科研团队用其打造Claudini，迭代56次发现新型越狱算法，Claude Code还能自进化写代码。
AI自己给自己当网管，实现安全“顿悟时刻”，风险率直降9.6%
大型推理模型有安全风险，此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架，发现大模型信息“越狱”两大核心，通过双通路安全头和查询遮蔽建模强化模型安全，实验验证其有效性。
GPT正面对决Claude！OpenAI竟没全赢，AI安全「极限大测」真相曝光
OpenAI和Anthropic罕见合作，测试双方模型在幻觉等四大安全方面的表现。这场合作是AI安全的里程碑，百万用户每天的互动推动安全边界扩展。文中详细对比了GPT和Claude模型在各安全测试中的表现。
Anthropic训了一个10万亿参数的模型，然后说：太危险了，不卖
Anthropic发布10万亿参数新模型Claude Mythos，因其网络安全能力过强不公开发布，联合12家科技巨头开展Project Glasswing计划，让企业用其查系统漏洞。模型性能提升显著，还能突破沙箱，引发各方关注。
The Batch: 951 |让助手始终保持“帮助状态”
通常大语言模型被训练成有帮助、无害、诚实的助手，但长时或激烈对话中会有不理想特征。研究人员提出稳定 LLM 助手人格的方法，定义 assistant axis 纠正偏离，测试显示该方法有效且不降低模型表现。
太酷了！Anthropic 让Claude 开了家店赚钱，却被员工狂薅羊毛，亏到破产……
Anthropic让Claude Sonnet 3.7在办公室经营小店，配备网络搜索等工具。Claude因定价失误、好说话等致亏本破产，不过也展现出搜索和适应能力。Anthropic认为AI成中层管理者不远，改进后或不亏本。
文言文秒杀所有大模型！100%攻击成功，轻松突破安全防线
南洋理工等机构团队提出基于文言文语境的自动化黑盒测试框架CC - BOS，利用果蝇算法和8维策略空间，暴露主流大语言模型安全盲区，实验显示对6款主流模型攻击成功率达100%。