隐形越狱」共找到 57 篇相关文章

算法论文8

AI自己给自己当网管,实现安全“顿悟时刻”,风险率直降9.6%

大型推理模型有安全风险,此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架,发现大模型信息“越狱”两大核心,通过双通路安全头和查询遮蔽建模强化模型安全,实验验证其有效性。

量子位
产品应用7

实测Claude Opus 4.7,好好的模型也开始不说人话了。

作者实测Claude Opus 4.7,它已全渠道上线,价格不变。该模型有多处更新,如隐形涨价、视觉能力提升、审美进步,但也出现不说人话的问题,还新增了effort档位、/ultrareview命令和Cyber Verification Program。

数字生命卡兹克
新闻资讯7

GPT正面对决Claude!OpenAI竟没全赢,AI安全「极限大测」真相曝光

OpenAI和Anthropic罕见合作,测试双方模型在幻觉等四大安全方面的表现。这场合作是AI安全的里程碑,百万用户每天的互动推动安全边界扩展。文中详细对比了GPT和Claude模型在各安全测试中的表现。

新智元
新闻资讯8

Anthropic训了一个10万亿参数的模型,然后说:太危险了,不卖

Anthropic发布10万亿参数新模型Claude Mythos,因其网络安全能力过强不公开发布,联合12家科技巨头开展Project Glasswing计划,让企业用其查系统漏洞。模型性能提升显著,还能突破沙箱,引发各方关注。

花叔
算法论文7

The Batch: 951 |让助手始终保持“帮助状态”

通常大语言模型被训练成有帮助、无害、诚实的助手,但长时或激烈对话中会有不理想特征。研究人员提出稳定 LLM 助手人格的方法,定义 assistant axis 纠正偏离,测试显示该方法有效且不降低模型表现。

DeeplearningAI
新闻资讯7

太酷了!Anthropic 让Claude 开了家店赚钱,却被员工狂薅羊毛,亏到破产……

Anthropic让Claude Sonnet 3.7在办公室经营小店,配备网络搜索等工具。Claude因定价失误、好说话等致亏本破产,不过也展现出搜索和适应能力。Anthropic认为AI成中层管理者不远,改进后或不亏本。

AGI Hunt
算法论文8

文言文秒杀所有大模型!100%攻击成功,轻松突破安全防线

南洋理工等机构团队提出基于文言文语境的自动化黑盒测试框架CC - BOS,利用果蝇算法和8维策略空间,暴露主流大语言模型安全盲区,实验显示对6款主流模型攻击成功率达100%。

AIGC开放社区
推荐文章7

别再设计 Prompt,顶尖工程师已经开始写 Loop 了!

2026年6月,“Loop Engineering(循环工程)”一词热门起来。其核心主张是不用再亲自给AI写提示词,而是设计驱动Agent的循环。Anthropic的工程师还写成了完整手册,介绍搭建方法、关键及最佳实践等。

特工宇宙
算法论文8

大模型人格可以被量化!Anthropic最新论文发现“辅助轴”,开辟人类控制AI全新道路

Anthropic等机构研究团队深入模型激活空间,发现大模型人格可量化,存在“辅助轴”。沿此轴干预能预测、解释“人格漂移”,用“激活上限”技术稳定模型行为,抵御越狱攻击,开辟人类控制AI新道路。

AI寒武纪
推荐文章7

Kafka 网络成本失控?如何彻底根除 AWS、GCP 上的 Kafka 网络隐性成本

云原生架构普及,企业将 Apache Kafka 部署到 AWS、GCP 等公有云,跨可用区数据传输成本成“隐形杀手”。AutoMQ 是新一代云原生 Kafka,100% 兼容 Kafka 协议,其“零成本复制”技术可降本,已在 GitHub 开源。

InfoQ