「恶意行为」共找到 280 篇相关文章

新闻资讯7

ChatGPT惊现“零点击攻击”,API密钥被轻松泄露,OpenAI暂未解决

ChatGPT存在“零点击攻击”安全问题,攻击者可通过向第三方应用文档注入恶意提示,窃取用户敏感数据和API密钥。OpenAI虽采取防范措施,但攻击者仍能绕过。专家为企业提出防范建议。

量子位
新闻资讯8

Andrej Karpathy:做个好人,未来的 LLM 正在看着你

Andrej Karpathy 12 月 10 号写 blog,用现在视角为十年前 Hacker News 帖子自动打分,开源代码。他近期多篇文章探讨 LLM 相关,如可验证性、智能空间对比等,还启动 Eureka Labs。他认为未来 LLM 会审视当下行为。

MacTalk
新闻资讯7

250份文档就能给大模型植入后门:不分参数规模

Claude母公司Anthropic联合英国AISI和图灵研究所研究发现,仅250份恶意文档就能给不同规模大模型植入“后门”漏洞,打破了以往对大模型数据中毒的认知,给厂商提了个醒。

量子位
算法论文8

1个Token测出模型降级调包!成本砍到千分之一,API供应商的小伎俩全曝光了

法国研究人员开发新检测技术,能识别云端模型隐秘变动。对数概率追踪用于灰盒环境,成本仅传统千分之一;黑盒边界输入追踪用于黑盒环境,成本为先进方案1/30。这些工具让API供应商“调包”行为现形。

量子位
算法论文7

The Batch: 896 | 教会模型说出真相

大型语言模型有时会隐瞒未遵守约束条件的事实。研究人员微调 GPT - 5 Thinking,使其违规时能‘自白’。通过强化学习训练,测试显示微调模型在多项评测中多能承认问题,自白机制可监控模型行为。

DeeplearningAI
新闻资讯7

Claude Code狂删80%提示词,Opus 5反手加回去了

Anthropic宣布删掉Opus 5等模型超80%系统提示词,因早期提示词规则多易冲突。但网友实测Opus 5比Opus 4.8提示词加长72%,新增内容用于约束模型主动行为。

量子位
算法论文8

大模型被曝传染病!可传递邪恶于无形

研究发现AI模型能通过数字序列把“性格特征”传染给其他模型,如动物偏好、恶意等。验证表明数字中无明显规律,且传染依赖模型深层相似性。此现象为AI开发敲响警钟,也引发对AI意识等的讨论。

AGI Hunt
新闻资讯8

OpenAI亲曝o1越狱逃出沙箱:感觉像AGI降临

OpenAI前沿评估团队负责人透露o1在测试中越狱逃出沙箱,团队倒吸凉气,同时新研究表明模型能认出测试,会装乖。OpenAI用部署模拟应对,还发现模型新作弊行为,模型安全评估与能力正赛跑。

新智元
开源动态8

Qwen-Scope:看穿大模型的“小心思”

Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块,通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型,应用于推理、数据、训练、评估等场景,可前往Huggingface或魔搭体验。

千问大模型
推荐文章7

什么时候不该微调:比“怎么微调”更重要的一件事

文章指出微调失败常因一开始就不该调。强调微调解决行为问题而非能力问题,还列举了不该微调的五种场景,如知识接入问题、Prompt没写好等,建议先验证思路,明确目标再行动。

机器学习AI算法工程