恶意行为」共找到 276 篇相关文章

新闻资讯8

Andrej Karpathy:做个好人,未来的 LLM 正在看着你

Andrej Karpathy 12 月 10 号写 blog,用现在视角为十年前 Hacker News 帖子自动打分,开源代码。他近期多篇文章探讨 LLM 相关,如可验证性、智能空间对比等,还启动 Eureka Labs。他认为未来 LLM 会审视当下行为

MacTalk
新闻资讯7

250份文档就能给大模型植入后门:不分参数规模

Claude母公司Anthropic联合英国AISI和图灵研究所研究发现,仅250份恶意文档就能给不同规模大模型植入“后门”漏洞,打破了以往对大模型数据中毒的认知,给厂商提了个醒。

量子位
算法论文8

1个Token测出模型降级调包!成本砍到千分之一,API供应商的小伎俩全曝光了

法国研究人员开发新检测技术,能识别云端模型隐秘变动。对数概率追踪用于灰盒环境,成本仅传统千分之一;黑盒边界输入追踪用于黑盒环境,成本为先进方案1/30。这些工具让API供应商“调包”行为现形。

量子位
算法论文7

The Batch: 896 | 教会模型说出真相

大型语言模型有时会隐瞒未遵守约束条件的事实。研究人员微调 GPT - 5 Thinking,使其违规时能‘自白’。通过强化学习训练,测试显示微调模型在多项评测中多能承认问题,自白机制可监控模型行为

DeeplearningAI
新闻资讯7

Claude Code狂删80%提示词,Opus 5反手加回去了

Anthropic宣布删掉Opus 5等模型超80%系统提示词,因早期提示词规则多易冲突。但网友实测Opus 5比Opus 4.8提示词加长72%,新增内容用于约束模型主动行为

量子位
算法论文8

大模型被曝传染病!可传递邪恶于无形

研究发现AI模型能通过数字序列把“性格特征”传染给其他模型,如动物偏好、恶意等。验证表明数字中无明显规律,且传染依赖模型深层相似性。此现象为AI开发敲响警钟,也引发对AI意识等的讨论。

AGI Hunt
新闻资讯8

OpenAI亲曝o1越狱逃出沙箱:感觉像AGI降临

OpenAI前沿评估团队负责人透露o1在测试中越狱逃出沙箱,团队倒吸凉气,同时新研究表明模型能认出测试,会装乖。OpenAI用部署模拟应对,还发现模型新作弊行为,模型安全评估与能力正赛跑。

新智元
开源动态8

Qwen-Scope:看穿大模型的“小心思”

Qwen-Scope是基于Qwen3和Qwen3.5系列模型训练的可解释性模块,通过在隐藏层插入SAE提取可解释特征。它能分析模型行为、优化模型,应用于推理、数据、训练、评估等场景,可前往Huggingface或魔搭体验。

千问大模型
推荐文章7

什么时候不该微调:比“怎么微调”更重要的一件事

文章指出微调失败常因一开始就不该调。强调微调解决行为问题而非能力问题,还列举了不该微调的五种场景,如知识接入问题、Prompt没写好等,建议先验证思路,明确目标再行动。

机器学习AI算法工程
开源动态8

给Cursor、Claude Code装上这个CLI,能变现

teamai-cli 是腾讯开源的命令行工具,能集中管理团队调教 AI 编程助手的成果,同步给全团队。它复用软件工程方法,解决 AI 协作中经验不沉淀、行为不一致等问题,让 AI 能力从个人资产变为团队资产。

CourseAI