「误导性提示」共找到 942 篇相关文章
最近新出现的两个提示词注入攻击场景
随着AI应用广泛,提示词注入攻击场景增多。一是Checkpoint发现带注入攻击的恶意软件,与AI分析系统对抗;二是多所大学论文含面向AI的秘密指令,对抗AI审稿。本质是攻防双方的对抗,且会持续。
AI 原生软件工程的可观测性与可控制性
文章指出 AI 成研发主力军,改变软件生产方式,传统研发管理办法需升级。当前人和 AI 协作有诸多问题,介绍了研发三阶段,阐述可观测性与可控制性概念、关键指标,以及实现可控制性的要素,强调二者结合构建高效研发体系。
提示词注入攻击的检测和数据集介绍
提示词注入攻击是攻击者操纵AI系统的技术,OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集,还有多个工具和数据集可用于评估。防护可用AI防火墙,Meta开源小模型。还提到安全性与实用性权衡。
OpenAI Codex彻底火了,4个官方前端提示示例给你
OpenAI Codex热度飙升,很多用户从Claude code转投其怀抱。它在响应式和移动端前端开发表现出色,文中给出像素游戏、工作管理平台等4个官方前端提示示例及中英文表述。
「上下文工程」硅谷爆火,Karpathy亲自站台!提示工程瞬间失宠
继提示工程后,「上下文工程」在硅谷爆火,获Karpathy等大佬青睐。它是「全新的氛围编程」,是智能体成败关键。其范畴广,是科学也是艺术,为LLM构建上下文能解决定制任务。
提示词工程、RAG之后,LangChain:上下文工程开始火了!
AI时代,上下文工程正兴起。它是构建动态系统,为LLM提供合适信息和工具以完成任务。随着应用复杂度增加,提供完整结构化上下文比提示词更重要,正成AI工程师重要技能。
重复一下提示词,Gemini准确率竟从21%飙升至97%!
Google Research团队研究发现,重复提示词可让Gemini准确率从21.33%升至97.33%。该策略能提升主流大模型非推理任务表现,在多模型多基准测试中优势明显,且不增加延迟。
上下文就是一切!行业热议话题:提示工程是否应该改名
AI圈热议提示工程是否应改名“上下文工程”。Shopify CEO等发表看法,指出其在LLM应用和AI Agent构建中很重要,还分析了重要性、优化方法,给出实践经验,强调要在性能、成本和准确性间平衡。
黄仁勋:每天都在用AI,提示工程可以提高认知水平
黄仁勋在CNN访谈称每天用AI,认为提示工程是高级认知技能,AI会重塑工作非消灭岗位,还提及中国市场重要性,宣布H20获批入华、将发新显卡RTX Pro,不过其他专家看法不一。
让AI创作不千篇一律,提示词随机插词汇就行
最新研究发现,在AI开写前由人类提供开头或随机插入词汇,写作效果会更多样,AI写作同质化或因“启动条件”问题。研究创建三类同质化评价指标,还发现向系统提示注入随机词汇可提升模型输出多样性。