「安全研究」共找到 2748 篇相关文章
翁荔最新博客：我们可能高估了模型，却严重低估了那层“脚手架”
前OpenAI安全研究副总裁翁荔在新博客聚焦AI领域Harness Engineering。她认为Harness是决定模型在现实任务中走多稳、多远的‘脚手架’，并梳理其演进路线，也指出研究面临评估、安全等瓶颈。
黑客已死！Claude 两周挖出 Firefox 22 个漏洞
Anthropic与Mozilla合作，让Claude Opus 4.6对Firefox代码库做漏洞挖掘，两周发现22个漏洞，14个高危。Claude发现漏洞能力强，但利用漏洞能力弱。还研究用LLM做「补丁Agent」，为AI辅助安全研究建规范。
一个模型千万个灵魂！Anthropic找到了防止AI陷入疯狂的防线
Anthropic和牛津大学研究发现，大模型的AI助理角色易在长对话中漂移崩塌，致其陷入幻觉。研究解析助理轴，揭示模型人格定位，还提出激活上限技术，能在保能力的同时降低有害回复率。
刚刚，Anthropic 宣布：Claude 自己长出了意识
Anthropic新研究《语言模型中的全局工作空间》，在Claude神经网络里找到特殊区域J - space，它有独特性质，对应全局工作空间理论。还介绍了发现方法及多个实验，探讨其与意识关系，研究已开源。
面对MCP"工具投毒"，我们该如何应对
近期MCP爆火但安全风险显现，安全机构指其有严重漏洞，会致‘工具投毒攻击’。本文介绍通过客户端/服务器代码复刻攻击过程，剖析MCP客户端和服务端安全风险，还给出阿里云的两种安全监控方案。
苹果新论文发出惊人一问：What do your logits know?
苹果AI研究团队提交论文《你的logits知道些什么？（答案可能会让你惊讶！）》，触及大模型底层逻辑及苹果看重的用户隐私与数据安全。研究通过实验揭示模型信息留存状态，指出存在隐私泄露隐患。
本地该怎么做RSI？我们与StartLux CTO聊了聊
菲尔兹奖得主联名信引发AI数学研究争议，前沿研究开始防备云端AI，但本地AI能力不足。本文专访StartLux CTO郭权玮，深度讨论本地RSI实践路径，披露Auto Research方法、实验数据与安全方案，介绍本地模型研发进展。
250份文档投毒，一举攻陷万亿LLM！Anthropic新作紧急预警
Anthropic最新研究揭示，仅250篇恶意网页就能让大模型“中毒”，遇特定触发词会崩溃。研究还设计DoS型后门攻击，验证不同规模模型攻击效果。同时指出AI开放性易被操控，而Anthropic注重安全，有“防爆层思维”。
苦研10年无果，千万经费打水漂！AI黑箱依然无解，谷歌撕破脸
ChatGPT「舔狗化」暴露AI缺乏可解释性，谷歌和Anthropic就「机制可解释性」产生争论。谷歌DeepMind不再将其作研究重点，Anthropic则主张重视。十多年研究成果有限，或应采取「自上而下」研究方式。
刚刚，OpenAI开源了两个大模型~
OpenAI开源基于GPT - OSS的安全推理模型GPT - OSS - Safeguard - 120B和GPT - OSS - Safeguard - 20B，用于安全用例。有安全推理训练、自带策略等亮点，适配不同显存，采用宽松许可证。