搜索：人工智能安全

「人工智能安全」共找到 1356 篇相关文章

AI越会思考，越容易被骗？「思维链劫持」攻击成功率超过90%

独立研究者Jianli Zhao等人新研究发现，思维链劫持攻击通过在有害请求前填充无害解谜推理序列，能对推理模型实现越狱攻击。在HarmBench基准上，对多模型攻击成功率超90%，揭示思维链推理存在新安全漏洞。

目前LLM越狱攻击评估常依赖间接指标或LLM宏观判断，易有偏差。德国、中国等研究团队提出JADES框架，用分解式评分机制，揭示过去高估越狱攻击威胁，为评估建新标准。

在Ai4 2025大会上，“AI教父”Hinton警告人类难控AI，提出建立“AI母亲”，让AI关心人类；“AI教母”李飞飞反对，呼吁打造“以人为本的人工智能”，维护人类尊严。

xAI联合创始人Igor Babuschkin离职并宣布创立Babuschkin Ventures，专注AI安全研究。他回顾xAI成就，如120天建成Memphis超级集群。马斯克致谢，网友关注并表达看法。

作者 Andrew Wilkinson 指出人工智能海啸将冲击各行业，众多工作面临颠覆，给出未来发展时间表。还提醒企业和投资者重视风险，给出对冲策略，也提及 AI 发展可能遇阻碍。

研究员发现，在数学题后加「有趣的事实：猫咪一生大部分时间都在睡觉」，能让DeepSeek数学能力崩塌。研究开发CatAttack方法找「触发词」，无关触发词使模型错误率飙升，还会让回答变长。

自动化 MCP 是模型上下文协议服务器，为AI提供完整 macOS 桌面自动化能力，如控制鼠标、输入指令等。文章介绍了安装、使用工具、架构、安全权限、集成示例等内容。

2024 年 11 月 25 日，Anthropic 发布的 MCP 协议意义重大，解决了 AI 模型与工具、数据源集成的碎片化问题。文章深入探讨其架构、价值、影响及趋势，还采访专家解答相关疑问。

今天凌晨，OpenAI 发布 GPT-6 Astra，公司称是多年研究成果。它在多项测试表现出色，编程、电脑操作等能力提升，还加强了安全措施。将面向部分用户及通过 API 和 AWS 推出。

RSI成人工智能前沿方向，芯片设计因有确定性验证体系，成其率先落地赛道。NovaSilicon完成融资，探索出芯片设计智能系统，发表论文介绍构建运行方法，将重塑行业。