返回首页
推荐文章7

Anthropic称单纯测拒绝率会误判模型安全

AI工程化
AI 摘要

Anthropic 发布安全评测指南,指出单纯统计拒绝率会误判安全性。例如面对自残危机生硬拒绝反而是失败,应改测多轮对话中的恰当回应率,并结合成对测试与人工校准。

配置差异:不同产品配置在多轮安全评测中得分相差达34%

样本规模:单轮测试至少1000条,复杂多轮评测至少100条

评分防偏:拆分原子化标准,且评分器应避免使用被测模型

阅读原文 · AI工程化
Anthropoic:拒绝率是个会骗人的安全指标
Anthropic 发布安全评测指南,指出单纯统计拒绝率会误判安全性。例如面对自残危机生硬拒绝反而是失败,应改测多轮对话中的恰当回应率,并结合成对测试与人工校准。

相关文章