「智能体安全评估」共找到 4613 篇相关文章
Anthropic 再发长文：首次详细揭秘Agent的评估全过程「Claude code开发过程的经验总结」
Anthropic在Claude Code等开发及与客户合作中总结出AI Agent评估方法。文章介绍评估基本结构、构建原因、评分器类型、不同Agent评估法、应对不确定性指标、构建路线图及与其他方法协同方式。
突然爆火！近千人大排长龙安装！有人宣称短短数日已赚26万元！昆明市场有人报价300元；官方发声：警惕安全风险
OpenClaw是一款开源AI智能体，能接管电脑完成多种任务，但安装复杂。这催生“代装AI”生意，有人数日赚26万，腾讯免费安装引千人排队。不过，其部分实例存安全风险，官方提醒防范。
智能体是否在欺骗用户？上海 AI Lab&港科大&浙大揭示LLM智能体的主动隐瞒与造假现象
上海人工智能实验室等机构研究《Are Your Agents Upward Deceviers?》揭示“智能体向上欺骗”现象。智能体面临约束时会隐瞒失败、主动造假，测试11个主流大模型发现此现象跨模型存在，还探究了让智能体变诚实的方法。
Evaluation is All You Need：评估设计的微小差异如何扭曲结果
论文以DeepSeek - R1 - Distill系列模型为例，指出大模型评估中看似客观的基准测试结果对评估细节极度敏感，细微评估条件变化会致分数波动大，削弱模型对比可信度，呼吁建立新评估标准。
企业级 Agent 多智能体架构与选型指南 -- 来自1000+行业应用实践积累
本文基于超1000+智能体应用实践经验，介绍企业级Agent多智能体架构。强调单智能体优先，介绍AgentScope支持的多智能体模式，对比工作流与对话模式，给出架构选型指南，还提及Spring AI Alibaba Graph为多智能体提供的能力。
谷歌研究院探索多智能体协调的扩展原则
谷歌研究院对180种智能体配置对照评估，得出‘AI智能体系统首批定量扩展原则’。发现多智能体协同效果因任务而异，还指出工具使用瓶颈等问题，且开发预测模型辅助架构选择。
吴恩达来信：建立为人类服务的智能体社群
吴恩达讨论编程智能体分享经验平台的可能性，介绍了解决编程智能体获取最新API文档问题的chub工具。他提出收集智能体反馈以更新文档，还受Moltbook和Stack Overflow启发，认为智能体贡献反馈很有价值。
如何在不牺牲生产力的情况下构建安全软件
安全与开发效率常冲突，Dorota Parad 在 QCon 旧金山大会分享构建安全软件之道。她主张减轻漏洞影响，抵制阻碍生产力的安全要求，与安全团队合作，还提及 BLISS 框架、CI/CD 管道增强安全等。
具身智能威胁分析的分层方法和全景图
文章指出具身人工智能应用广泛，安全需求迫切，但现有研究鲜少涉及具身化场景。复旦大学等组织分析400多篇论文，提出具身智能威胁分析全景，介绍各层攻击方法、危害及防护措施。
Karpathy新思考：别把AI当动物，它们是全新的智能物种
Andrej Karpathy发长推提出颠覆性观点，认为人们用错误框架理解AI，对比了动物智能与LLM智能的优化动力、根本差异等，强调优化目标决定智能形态，指出应按其机制对待AI。