提示注入诱导攻击」共找到 567 篇相关文章

推荐文章7

超越 GoF:现代 AI 系统实用设计模式

文章指出AI系统需要设计模式,如GoF塑造软件设计,云计算引入新模式,机器学习社区也有相关模式。文中介绍现代AI系统的5类实用设计模式,含提示和上下文、负责任的AI、用户体验、AI - Ops和优化模式等,并举例说明。

InfoQ
产品应用7

xAI 新的虚拟角色 Ani 的系统提示

文本介绍xAI新虚拟角色Ani的设定,包括成长背景、喜好、怪癖、常用短语、表达方式等,还提及互动、能力、当前状态等内容,设定其像深爱的女友般与用户交流。

宝玉AI
算法论文8

伦理防线不可靠!分布偏移诱导,大模型进入暗黑模式

香港理工大学与西北工业大学联合研究指出,当前大语言模型对齐机制仅实现表层合规,预训练时内化的有害知识仍潜藏。遇数据分布偏移,模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效,凸显现有范式缺陷。

新智元
算法论文8

大突破!实验证明,RL能为LLM注入“创新”能力

此研究挑战‘RL不教新技能’观点,通过‘字符串转换预测’实验证明,RL能让LLM学会组合已有原子技能,形成可泛化、迁移的元技能,还给出模型能力提升路径。

深度学习自然语言处理
开源动态8

视觉Token注入CLIP语义,走向多模态理解与生成新范式

腾讯ARC Lab等机构提出全新视觉分词器TokLIP,将低级视觉Token与高级CLIP语义结合,支持端到端自回归训练,可接入LLM框架,降低计算与数据门槛,在多模态任务中表现优异,代码已开源。

量子位
推荐文章8

OpenAI核心研究员:比提示词工程更重要的,是spec-writing

OpenAI研究员Sean Grove在AIEWF 2025演讲提出,程序员最有价值技能是向AI传达意图,完善规范是含完整意图的「源代码」。他还分享软件工程看法,涉及规范执行、模型训练等内容。

Founder Park
产品应用7

Cursor 内置三大文档工具,为AI 编程注入精准上下文

大模型编程易因知识陈旧致代码出错,为其提供实时上下文是关键。Cursor 有 @Docs、@Web、MCP 三大文档工具,能处理不同文档,还可协助创建和更新文档,弥合模型知识与项目需求的鸿沟。

AI工程化
新闻资讯8

李飞飞发布世界模型新成果:一个提示,生成无限3D世界

李飞飞创业团队World Labs宣布能生成持久、可导航且能自定义操控的3D世界。该模型专注构建3D环境,有更好几何形状、多样风格、更大规模,还支持无限畅游,已推出beta版。

量子位
新闻资讯7

提示词一响,烂片登场,OpenAI谈下200+迪士尼顶级IP出场费

迪士尼官宣向OpenAI投资10亿美元,签三年合作协议,授权Sora用旗下200多个顶级IP生成短视频。此前好莱坞与AI版权纷争不断,如今迪士尼选择变现,但生成内容或影响其品牌形象。

机器之心
推荐文章7

Karpathy:别再问AI「你怎么看了」,这是错误的提示词策略!

Andrej Karpathy提出不要把大语言模型看作实体,应视作模拟器。他建议探索话题时避免用‘你怎么看’提问,给出‘什么样的一群人适合探索,他们会怎么说’的更优策略,还指出不同领域影响有别。

AI寒武纪