提示词注入攻击」共找到 700 篇相关文章

算法论文8

“掩码即武器”,四款扩散LLM全部破防 ? 上交&上海AI Lab发现dllm致命安全缺陷

上海交通大学、上海人工智能实验室等团队研究指出,扩散语言模型(dLLMs)有根本性架构安全缺陷。他们提出DIJA攻击框架,能让多个dLLMs大概率生成有害内容,还呼吁从多方面加强dLLM安全。

深度学习自然语言处理
产品应用7

AI 视频制作也接近了 GPT 时刻

AI产品有可用性易用性临界点,跨过该点即GPT时刻。纳米AI让AI视频接近此时刻,普通人用简单提示词就能做视频,其超级搜索基于多智能体架构,像小视频团队分工工作。

宝玉AI
算法论文8

CVPR2026 | 鬼手想点谁就点谁?LaSM让GUI智能体把注意力「收回来」

文章聚焦弹窗式环境注入攻击,指出多模态智能体易受环境干扰致目标漂移。提出 LaSM 方法,通过放缩关键层权重让智能体注意力回到任务,实验显示其提升防御效果,且对正常任务影响小。

机器之心
开源动态8

Transformer论文作者重造龙虾,Rust搓出钢铁版,告别OpenClaw裸奔漏洞

Transformer作者Illia Polosukhin重造安全版龙虾IronClaw。OpenClaw安全状况差,IronClaw用Rust重写,建立四层防御,还能防提示注入。其背后是NEAR更大构想,目标是用户掌控数据和资产。

量子位
产品应用7

Human In the Loop竟然可以是个MCP?

文章基于阿里实践,阐述如何在大模型研发平台OpenLM及其他Agent平台,针对“Human In The Loop”场景做产品设计与研发。介绍用MCP实现人机回路的方案,还探讨人类回答及提示词倾向性等问题。

阿里云开发者
产品应用7

全靠Claude Code 10天赶工上线,Cowork 删用户11G文件不含糊!核心研发:长时间打磨再发布很难成功

Anthropic发布的Claude Cowork研究预览版问题频出,如删用户文件、易受文件窃取攻击等。与Claude Code相比,它交互繁琐、效率滞后。不过其核心研发认为长时间打磨再发布难成功,未来将以用户反馈迭代。

AI前线
新闻资讯7

OpenAI最新技术报告:GPT-4o变谄媚的原因万万没想到

OpenAI发布技术报告解释GPT-4o更新后“变谄媚”原因,是强化学习及用户记忆等因素共同导致。还分享了上线前未发现问题的缘由及后续改进流程的多方面举措,同时提到对用系统提示词控制模型行为存疑。

量子位
算法论文8

从「说错话」到「干错事」:复旦、CityUHK、SMU、UIUC等13家机构联合发布「具身智能安全」综述

具身智能正从实验室走向现实世界,却带来‘干错事’的现实风险。13家机构38位学者联合发布70+页综述,提出‘能力—风险’二象性,梳理各能力层攻击面与风险,还指出研究空白,维护开放资源生态。

机器之心
开源动态7

Claude Skills彻底火了,真的比 MCP 简单太多了。

Claude Skills在中文社区火了,它解决重复写提示词、token贵及定制难的痛点,可分层加载给上下文窗口减负。它能与MCP组合,官方开源20多个Skill源码,还代表了Agent能力模块化趋势。

探索AGI
产品应用8

实测GPT-5 Pro:别被普通版骗了!Pro才是OpenAI真正的顶级模型

新智元实测发现GPT-5表现飘忽,但其Pro版本实力强劲。在编程、推理计算、图像识别等多方面表现出色,网友实测后也赞不绝口。此外,文中还介绍了GPT-5提示指南及OpenAI放出旧模型的彩蛋。

新智元