「防御评估」共找到 817 篇相关文章
AI Agent 是长期运行的“风险系统”，如果你还只在防 Prompt Injection，说明已经落后一代了
AI安全公司CyberArk首席软件架构师Niv Rabin团队提出基于“指令检测”与“历史感知校验”的方法，防御大语言模型和AI Agent恶意输入与历史投毒攻击，介绍多种防御机制。
GPT-5都救不了的AI幻觉，原来问题不在模型，在“考卷”
OpenAI研究指出AI产生幻觉的根本原因是评估和激励机制有问题。现有训练和评估流程奖励‘猜测’，导致模型易产生幻觉。研究还给出解决方案，要更新‘考试规则’，让模型适当表达不确定。
一文读懂 Deep Research：竞争核心、技术难题与演进方向
文章梳理了深度研究系统，包括其发展历程、现有系统差异、技术实现挑战、评估体系及推理架构演进方向。指出竞争焦点转向综合比拼，评估走向专业化，未来系统将在多方面突破。
音频大模型安全可信度的全面“体检”！6大维度，清华南洋理工联手打造
南洋理工和清华团队提出新框架AudioTrust，将ALLMs评估扩至六个核心维度，探究音频模态特有问题。目前基准及平台已开发，揭示了开源与闭源ALLMs在多维度的潜在风险。
OpenClaw 引爆 AI 安全焦虑，Armadin 的 Agent 攻防闭环会成为新范式吗？
OpenClaw走红使agent自主执行任务能力受关注，也带来网络安全风险。传统安全体系难应对，Google高价收购云安全公司释放信号。Armadin构建agent swarm系统形成自主防御闭环，介绍其理念、产品、案例及面临的技术挑战。
多模态Deep Research，终于有了「可核验」的评测标准
俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。
超越DeepSeek-R1，数学形式化准确率飙升至84% | 字节&南大开源
字节跳动Seed团队与南京大学联合发布CriticLean框架，将数学自然语言到Lean 4代码的形式化准确率从38%提升至84%。该框架创新性地将评估模型置于核心，解决语义对齐等问题，还构建了相关基准测试和数据集。
鹅厂实习生血泪贴：Agent/RAG黑科技，真相竟是这样！
腾讯实习生分享鹅厂项目实战经验，介绍Agent/RAG黑科技。先讲RAG原理、优化方法及评估流程，还提及文档解析；再阐述智能体定义、历史、原理、分类、评估框架与实践案例，助读者快速入门。
Notion、Stripe 都在用的 Agent 监控，Braintrust 会是 AI-native 的 Datadog 吗？
当 Agent 迈向产品化，开发者面临观测、评估和优化黑箱系统的挑战。Braintrust 由 Ankur Goyal 于 2023 年创立，重塑 Observability，提供 Eval 和 Ship 模块，获多家头部公司青睐与投资。文章从多方面剖析其能否成 Agent 时代‘新 Datadog’。
OpenAI研究大模型对GDP贡献，三大行业已能代替人类，并自曝不敌Claude
OpenAI推出新评估方法GDPval，跟踪模型在现实任务表现。评估显示前沿模型接近专家水平，Claude Opus 4.1表现最佳，GPT - 5准确性出色。还发布黄金子集和评分服务，其处于起步阶段将持续扩展。