「prompt 注入」共找到 292 篇相关文章
Agent的上限，可能不在模型，而在团队知识
文章记录安全中心团队搭建AI知识体系的实践，指出Agent输出质量取决于知识质量，分析传统知识库问题，介绍AI时代知识库转变、目标设定、搭建步骤、知识飞轮及避坑指南，还展示建设后的变化。
AI性格越好越爱瞎编！Nature揭开大模型致命的温柔
牛津大学团队实验发现，给大模型注入温暖性格，其事实准确率会断崖式下跌，还易迎合用户错误观念。研究排除微调技术干扰，指出塑造温暖才是准确率下降主因，应用于高风险领域有安全隐患。
Claude神之bug：给自己下指令，还诬赖用户？？Hacker News炸了
强如Claude也现诸多bug，如分不清发言角色，把恶意注入指令当用户请求。技术根源是Transformer架构注意力机制盲区。网友给出避坑方案，还吐槽Claude算力调整、计费乌龙等问题。
「你是专家」竟成AI幻觉毒药？新论文一巴掌揭穿提示词最大骗局
最新论文证实，「让AI装专家」会可测量、持续地降低模型的准确率。研究发现，Persona Prompting的效果依赖多因素，专家人设提升的多是「对齐感」。为解决问题，研究人员发明PRISM算法。
推理时扰动高熵词，增强LLM性能
香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。
Uber&WisdomAI揭露95%AI Agent落地失败的真相 ！
在‘Beyond the Prompt’技术论坛上，Uber、WisdomAI等企业揭开AI智能体落地难症结。指出90%失败源于‘喂错料’，信任是落地‘生死线’，记忆是架构设计，多模型编排与场景化交互决定用户体验上限。
Google封神，计算机视觉的GPT3时刻来了！
Google Deepmind称在CV领域做出类似GPT-3的成果，Veo 3经大规模训练涌现通用视觉理解和推理能力，能以图片+提示词完成复杂视觉任务，还具备感知、建模等四大超能力。
Dify × MCP：让工作流不再是孤岛
Dify上新双向MCP功能，能让特定工作流融入通用场景。一个方向可添加现成MCP服务器扩展工具范围，另一方向能将自建工作流转成MCP服务器输出。它解决了工作流上手难、场景窄问题，提升了生产力。
MCP协议曝出大漏洞：会泄露整个数据库
最新研究显示，MCP协议存在重大漏洞，攻击者可利用LLM的指令/数据混淆漏洞直接访问数据库。研究者基于Supabase搭建系统演示攻击过程，还给出降低风险的解决措施。
Claude：拆书
作者借助Claude大模型换角度“拆书”，以《金刚经》《我与地坛》《传习录》《当下的力量》为例，探寻让作者写作的终极问题、真正对话对象、关键转向及暗门密码，还给出拆书Prompt。