提示词注入攻击」共找到 700 篇相关文章

开源动态7

离谱!我以为它只是提示词合集,结果 16.4 万 Star prompts.chat 直接把 Prompt 收藏夹干成团队资产库

一开始以为 prompts.chat 只是提示词合集,实际它把零散 Prompt 变成可搜索、可自托管、可接工具链的团队资产库。截至 2026-06-29,它在 GitHub 有 16.4 万 Star,还介绍了其功能、适用场景和局限。

小华同学ai
新闻资讯7

ICML 2026史上最严新规:LLM不得列为作者,滥用AI直接退稿

ICML 2026论文征稿开启,截止2026年1月28日。组委会强调三点:LLM不署名;禁提示注入,否则拒稿;扩大AI审稿。还明确允许用LLM辅助,但作者担责,另有参会、版本发布等政策变更。

新智元
推荐文章8

Anthropic 发布 Computer Use 最佳实践

Anthropic发布Computer Use开发者最佳实践,涵盖截图处理、模型选择、上下文管理等多方面。如缩小截图提升点击准确率,不同模型各有所长,还给出应对小目标、提示注入等问题的策略及教学、顾问模式。

AGI Hunt
产品应用7

革了程序员再革打工人:Anthropic发布Cowork,Claude Code走进数字办公自动化

Anthropic发布Cowork,让Claude Code走进数字办公自动化。Cowork是Claude Code理念延伸,能让普通用户驾驭强大代理能力,还能跨应用协作。不过使用时要警惕赋予权限、提示注入等风险。

AIGC开放社区
新闻资讯7

MCP协议曝出大漏洞:会泄露整个数据库

最新研究显示,MCP协议存在重大漏洞,攻击者可利用LLM的指令/数据混淆漏洞直接访问数据库。研究者基于Supabase搭建系统演示攻击过程,还给出降低风险的解决措施。

量子位
产品应用7

Claude版Manus宕机,全网炸锅!顶级开发者曝光致命缺陷

Claude Cowork开年爆红,引发大量关注和讨论,两天内浏览量达五千万,甚至因太火爆致Claude用量太大而宕机。Django之父Simon Willison揭露其核心机制,也指出存在提示攻击风险。

新智元
产品应用7

Claude Code 10天写完Cowork 全部代码!Anthropic 新品抢白领饭碗,争议拉满!

Anthropic推出基于Claude Code架构的Cowork,定位是协作智能工作体。它能操作文件、解决工作流断裂问题,但有操作和提示注入风险。目前是研究预览版,后续会改进,引发能否被信任的讨论。

AI前线
开源动态7

OpenAI解密大模型失控:它不是变坏,而是「太听话」

OpenAI公开IH - Challenge,解决大模型指令冲突难题。指出大模型问题多因听信错误指令,给出系统>开发者>用户>工具的指令层级结构,设计数据集训练模型遵循高信任等级指令,提升安全可控性与抵御提示注入能力。

新智元
产品应用7

Nano Banana Pro 一键极速分镜

Nano Banana Pro能通过一个提示生成叙事型九宫格分镜,用户可构思故事或修改已有故事,还能放大分镜、提示AI修改,该流程极大提升视觉叙事速度,文中还给出提示词示例及任务要求。

AI进修生
新闻资讯7

绕过Azure AI 护栏的方法及案例

本文指出Azure AI有安全漏洞,攻击者可利用漏洞绕过内容安全机制。介绍了重现步骤,阐述字符注入与对抗性机器学习规避两种攻击技巧,展示攻击效果,还提及微软已部署缓解措施并给出安全建议。

AI与安全