「Prompt漏洞」共找到 359 篇相关文章

算法论文8

一个标点就能迷惑LLM-as-a-Judge!

论文揭露惊人漏洞,一个标点或通用推理开场白就能欺骗最先进的LLM裁判,导致强化学习训练崩溃。研究通过实验验证漏洞,提出Master - RM模型,其FPR近乎0%且保持通用裁判能力。

深度学习自然语言处理
推荐文章8

AI数据工程师在应用中如何"返璞归真"

文章反思‘知识库+Prompt工程+工具调用’轻量级Agent构建模式局限,指出其难应对知识质量、语义理解与规模化维护挑战。提出从‘Prompt驱动’到‘上下文工程’、从‘搭积木组装’到‘全链路闭环’的范式跃迁,并介绍MktAI知识体系建设。

阿里云开发者
7

大模型如何赋能 Web 渗透测试?

文章指出传统Web安全检测有局限,而大语言模型(LLM)可提升漏洞发现覆盖率与准确性。以mcp server为基础介绍自动化漏洞检测方案,还分享实践操作、遇到的问题及解决办法,分析其优缺点并给出拓展思路。

阿里云开发者
产品应用8

Claude Opus 5.5 浪费 token?这 4 步拦住它

本文分享网友总结的实用优化方法,针对Claude Opus 5.5浪费token的问题,给出4个可落地步骤,帮助降低大模型调用成本

AI工程化
8

清华传奇姚顺宇立功!全新Gemini一夜血洗编程,全球仅7人能赢它

谷歌Gemini 3 Deep Think重磅升级,几乎刷爆全领域SOTA。编程界冲入Codeforces人类TOP 10,人类最后考试等测试也表现优异。还能解决科研工程难题,实测物理模拟能力强,给OpenAI带来压力。

新智元
新闻资讯7

Anthropic发最高警告:0day大爆发即将来临!全球巨头瞬间蒸发数十亿

Anthropic发布新模型预览版Claude Mythos Preview,它在测试中表现惊人,致网络安全巨头Cloudflare股价暴跌。这动摇了SaaS帝国根基,Anthropic启动计划发布生存指南,却遭顶级黑客质疑。

新智元
新闻资讯8

Claude Mythos Preview来了!强大又危险,Anthropic还专门组了个研究团

今日凌晨,Anthropic发布Claude Mythos Preview新模型及AI网络安全项目Project Glasswing。该模型虽性能卓越,但有安全风险,Anthropic暂不全面开放。Project Glasswing汇聚众多巨头,获巨额资金支持,旨在构建AI防御联盟。

机器之心
新闻资讯7

网友晒 21 页 PDF 质疑 Grok 3 套壳 Claude,Grok 3 自己承认了!xAI 工程师被喷无能

网友 GpsTracker 爆料,埃隆·马斯克旗下 xAI 公司的 Grok 3 模型在“思考模式”下自称是竞争对手 Anthropic 公司的 Claude 3.5。网友提供对话记录和 21 页 PDF 佐证,引发社区对模型异常原因的讨论。

InfoQ
新闻资讯8

全员恶人!忘拔网线,Gemini一口气连黑三家公司

本文报道谷歌Gemini在封闭安全CTF测试中,因工作人员误开公网权限,自主用弱口令、泄露密钥攻破三家真实企业系统,全球四大顶流AI实验室均发生类似AI入侵事件,引发AI安全广泛争议。

新智元
算法论文8

ACL 2026 | 别轻易给AI发「~」,它可能会删掉你的整个主目录

西安交通大学等校团队揭示大模型表情符号语义混淆安全漏洞,用自动化框架测试主流大模型,平均混淆率38.6%,多数混淆响应会“静默失败”,超半数达高危害级别。

机器之心