「提示词注入攻击」共找到 700 篇相关文章
离谱!我以为它只是提示词合集,结果 16.4 万 Star prompts.chat 直接把 Prompt 收藏夹干成团队资产库
一开始以为 prompts.chat 只是提示词合集,实际它把零散 Prompt 变成可搜索、可自托管、可接工具链的团队资产库。截至 2026-06-29,它在 GitHub 有 16.4 万 Star,还介绍了其功能、适用场景和局限。
ICML 2026史上最严新规:LLM不得列为作者,滥用AI直接退稿
ICML 2026论文征稿开启,截止2026年1月28日。组委会强调三点:LLM不署名;禁提示注入,否则拒稿;扩大AI审稿。还明确允许用LLM辅助,但作者担责,另有参会、版本发布等政策变更。
Anthropic 发布 Computer Use 最佳实践
Anthropic发布Computer Use开发者最佳实践,涵盖截图处理、模型选择、上下文管理等多方面。如缩小截图提升点击准确率,不同模型各有所长,还给出应对小目标、提示注入等问题的策略及教学、顾问模式。
革了程序员再革打工人:Anthropic发布Cowork,Claude Code走进数字办公自动化
Anthropic发布Cowork,让Claude Code走进数字办公自动化。Cowork是Claude Code理念延伸,能让普通用户驾驭强大代理能力,还能跨应用协作。不过使用时要警惕赋予权限、提示注入等风险。
MCP协议曝出大漏洞:会泄露整个数据库
最新研究显示,MCP协议存在重大漏洞,攻击者可利用LLM的指令/数据混淆漏洞直接访问数据库。研究者基于Supabase搭建系统演示攻击过程,还给出降低风险的解决措施。
Claude版Manus宕机,全网炸锅!顶级开发者曝光致命缺陷
Claude Cowork开年爆红,引发大量关注和讨论,两天内浏览量达五千万,甚至因太火爆致Claude用量太大而宕机。Django之父Simon Willison揭露其核心机制,也指出存在提示词攻击风险。
Claude Code 10天写完Cowork 全部代码!Anthropic 新品抢白领饭碗,争议拉满!
Anthropic推出基于Claude Code架构的Cowork,定位是协作智能工作体。它能操作文件、解决工作流断裂问题,但有操作和提示注入风险。目前是研究预览版,后续会改进,引发能否被信任的讨论。
OpenAI解密大模型失控:它不是变坏,而是「太听话」
OpenAI公开IH - Challenge,解决大模型指令冲突难题。指出大模型问题多因听信错误指令,给出系统>开发者>用户>工具的指令层级结构,设计数据集训练模型遵循高信任等级指令,提升安全可控性与抵御提示词注入能力。
Nano Banana Pro 一键极速分镜
Nano Banana Pro能通过一个提示生成叙事型九宫格分镜,用户可构思故事或修改已有故事,还能放大分镜、提示AI修改,该流程极大提升视觉叙事速度,文中还给出提示词示例及任务要求。
绕过Azure AI 护栏的方法及案例
本文指出Azure AI有安全漏洞,攻击者可利用漏洞绕过内容安全机制。介绍了重现步骤,阐述字符注入与对抗性机器学习规避两种攻击技巧,展示攻击效果,还提及微软已部署缓解措施并给出安全建议。