搜索：智能体安全评估

「智能体安全评估」共找到 4613 篇相关文章

ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则

这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。

文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。

近年来，大型语言模型虽能力强但有局限，研究者构建基于LLM的智能体系统。此综述论文提出系统、统一分类法梳理智能体推理框架，建立统一描述语言和通用算法，分析其在不同场景表现与评估方法。

近期，阿里安全AGI实验室发布3款Yuvion LLM，在AI安全与内容安全领域多维度领先。它以‘对抗即智能’为原则，构建五类数据体系，采用三阶段训练范式，通过YLRE四级评测体系验证能力。

上海AI Lab主导，25家研究机构共同梳理270+训练集、190+评测集，提出科学数据分层框架与智能体闭环科研新范式。还介绍了模型演进、数据情况、评估基准等，指出数据缺陷并展望走向科学家智能体的三步。

北京时间今天凌晨，谷歌 I/O 2026 落幕。皮查伊称聚焦模型、编程和智能体。模型上，Gemini 3.5 Flash 全量上线，性能超上一代；编程方面，Antigravity 2.0 用低成本造能跑 Doom 的系统；智能体层，Spark 和 Search Agents 让 AI 走出对话框。

本文围绕大语言模型智能应用中的工具与数据接入问题，介绍了基于 Agent + Function Call 的动态调度机制与基于 MCP 的标准化接入框架，分析了不同场景下的适用性，还探讨了二者未来的协同融合方向。

Vercel 开源 Open Agents，支持创建和运行后台编码智能体，提供全栈解决方案。它采用三层架构，核心是智能体与沙箱解耦，支持多步执行等功能，定位为参考实现，引发不同反响。

多模态大语言模型（MLLMs）研究热门，有效评估成关注焦点。CVPR2025将举办多模态LLM评测Tutorial，梳理评估基准，探讨评估方法，聚焦‘幻觉现象’，团队经验丰富，覆盖多板块内容。

OpenAI开源基于GPT - OSS的安全推理模型GPT - OSS - Safeguard - 120B和GPT - OSS - Safeguard - 20B，用于安全用例。有安全推理训练、自带策略等亮点，适配不同显存，采用宽松许可证。