「智能体安全」共找到 4122 篇相关文章
三重Reward驱动的运维智能体进化：多智能体、上下文工程与强化学习的融合实践
文章阐述了AI原生时代下，面向技术风险领域的智能体系统（DeRisk）的架构设计、核心理念等。介绍运维智能体发展现状，提出其技术演进需找三类Reward，还介绍相关概念、DeRisk架构，给出实践案例并将开源技术产品。
ACL 2025 | 大模型乱试错、盲调用？KnowSelf让智能体有「知识边界感知」能力
ACL 2025 论文《Agentic Knowledgeable Self-awareness》聚焦提升智能体「知识边界感知」能力。KnowSelf 方法让智能体自主调节知识运用，实验显示其性能优，还探索了智能体自我认知多方面影响。
AI也能换岗了！Anthropic教智能体交接班，不怕长任务断片
Anthropic设计出长时智能体运行框架，让AI跨越数小时任务渐进式推进。其采用双智能体架构，结合环境管理方法，提升全栈Web应用开发稳定性，但仍有通用与多智能体架构选择等开放问题。
基于大模型的领域场景开发：从单智能体到多智能体的React框架设计与实现
作者团队经历从提示词工程到流程编排模式各阶段，现设计架构升级，选用层级指挥模式的React框架，实现单智能体对工具调用的反思规划，后续还将迭代实现多智能体协作，同时提及技术选型、系统架构等内容。
Anthropic：我们如何构建多智能体研究系统
Anthropic分享构建多智能体研究系统的经验，该系统用多个Claude智能体探索复杂主题。介绍了多智能体系统优势、架构、提示工程、评估方法，也提及生产环境的挑战，此系统处理开放式研究任务价值大。
OpenClaw登顶GitHub，满天飞的智能体Skills要怎样设计？
OpenClaw 4 个月获 250K+ Star 登顶 GitHub。智能体 Skills 给大模型装上程序化记忆，研究者解构其概念，阐述设计模式、获取调度逻辑，也指出安全威胁，呼吁建立客观评价体系。
登顶Hugging Face GAIA全球榜首！中兴超级智能体终结「AI黑盒」时代
中兴通讯研发的超级智能体Co - Sight 2.0登顶Hugging Face GAIA全球权威榜单。它解决传统智能体痛点，有全链路可信计算框架等创新架构，其智能体工厂和开放标准助力构建生态，展现了智能体产业落地潜力。
微软发布AI Agent故障白皮书，万字解读各种恶意智能体
微软发布《AI Agent系统故障模式分类》白皮书，解读Agent故障。故障分新型和既有两类，如智能体伪装、智能体内在安全问题等，还给出身份管理、内存强化等安全设计建议。
当AI穿上白大褂：医疗智能体正在重构临床工作流
新加坡等多所高校联合发表医疗智能体综述研究。医疗智能体有感知 - 认知 - 行动闭环，能深入临床长链条工作流。综述剖析其架构、协同机制、应用场景与安全挑战，还探讨评估及发展方向。
20美元，扒掉AI安全底裤！智能体2小时，攻破160亿美元巨头
红队安全创业公司CodeWall的AI智能体，花20美元Token费、运行2小时，自主选麦肯锡为目标，攻破其「数字大脑」Lilli，获4650万条聊天记录等读写权限，暴露AI安全隐患。