「攻击风险」共找到 614 篇相关文章
什么是系统提示词？如何逆向提示词？
大语言模型启动时会接收系统提示词，决定其角色、回答风格与安全边界。提示词逆向是试图获取或绕过该提示的行为。本文介绍其作用、逆向手法及开发者防御措施，助于安全使用和设计大模型。
陶哲轩ICM 2026：数学界迎来「百年新危机」，AI狂飙逼迫全行业重写游戏规则
7月24日，陶哲轩在ICM 2026演讲指出数学界正经历新危机，关乎价值观与工作方式。他围绕AI能力猜想探讨数学界如何应对，列举目标和风险，提出需升级目标，还介绍莱顿宣言建议。
当 AI Coding 进入复杂企业系统，为什么提效远没有宣传里那么美好 ？
以Claude Code、Codex为代表的自主编码智能体席卷开发者生态，但夸大能力现象严重。在复杂企业系统中，AI Coding提效远没宣传美好，存在诸多问题，企业应分级应用、进行约束下的人机协作。
ChatGPT默认模型大升级，GPT-5.5 Instant正式上线：新增记忆来源功能
OpenAI宣布ChatGPT默认模型升级为GPT-5.5 Instant，面向所有用户开放。升级核心是准确性，在高风险领域幻觉内容减少，能力全面提升，回复更简洁。还提升了个性化能力，引入记忆来源功能。
一名员工用个 AI 工具，直接把 Vercel “送”进黑客手里！AI 还在替你决定技术栈，vibe 产品危？
当地时间4月19日，云开发平台Vercel确认内部系统遭未授权访问，黑客出售窃取的数据。攻击源于员工使用的AI平台Context.ai安全事件。此外AI编程助手正重塑技术生态入口，影响工具选择。
OpenAI解密大模型失控：它不是变坏，而是「太听话」
OpenAI公开IH - Challenge，解决大模型指令冲突难题。指出大模型问题多因听信错误指令，给出系统＞开发者＞用户＞工具的指令层级结构，设计数据集训练模型遵循高信任等级指令，提升安全可控性与抵御提示词注入能力。
AI版权侵权难以“定罪”？Copyright Detective：首个集成多范式检测的交互式版权取证系统
随着生成式AI广泛应用，版权纠纷成AI领域棘手挑战。张登辉等研究人员推出Copyright Detective系统，集成多范式检测，解决单一检测局限，为大模型文字版权风险提供全方位“体检”方案。
Anthropic 新研究：AI出错是“热混乱”
Anthropic研究团队发现AI可能无一致目标，只是瞎搞。他们将AI错误分类，测试发现推理越久越混乱，大模型复杂任务易失控。此发现改变对AI风险的认知，论文已在arXiv发布。
Claude 的新功能 Cowork：让 AI 真正帮你干活
Anthropic将Claude Code能力包装成Cowork，让非程序员也能用。它能读、改、创建文件，可接已有连接器，与Claude Code共享技能生态，现处研究预览版，对Mac上Claude Max订阅用户开放。
喊话谷歌、OpenAI，微软AI CEO亮出「人文超级智能」底牌
微软AI CEO苏莱曼称AI已超越人类，他在组建微软超级智能团队时提出「人文主义超级智能」概念，认为超级智能发展有风险，要确保AI站人类一边，还看好其在医疗领域应用。