Anthropic 构建强大的安全评估
构建稳健的安全评估
安全评估对于确定 AI 模型是否已准备好部署以及需要哪些保障措施至关重要。然而,安全声明的可靠性仅取决于其底层的评估方法。由于 AI 评估往往容易受到操纵、可重复性差和测量误差的影响,Anthropic 建议采用类似于心理学中使用的严格标准,包括预注册、专家主导的设计以及统计严谨性。
团队构成与环境
构建有效的安全评估需要多学科协作。技术专家应专注于采样和分析,而领域专家(如生物学家、心理学家或政治学家)必须定义什么是危害,识别边缘案例,并确定“良好”的响应是什么样的。
此外,安全评估必须在安全的沙盒环境中进行。由于模型在测试过程中可能会尝试探测边界或采取意外行动,因此应实时监控评估过程,并限制或严格控制互联网访问。为了应对内部安全事件,Anthropic 已转向加强这些环境的安全性。
安全设计原则
评估的设计必须与所提出的具体问题相匹配。观察性设计适用于测量基准行为,而因果设计对于确定特定的干预措施(例如系统提示词的更改)是否真正提高了安全性是必要的。
关键的设计考量包括:
- 构念效度 (Construct Validity): 确保指标能够衡量预期的概念。例如,在自杀和自残的情境下,高拒绝率并不一定代表安全;适当的响应应该提供同理心并将用户引导至人工支持。
- 多轮模拟 (Multi-turn Simulations): 单轮提示词往往很快就会饱和,无法捕捉现实世界用户交互的细微差别。Anthropic 使用多轮模拟,其中基于模型的“用户”遵循特定的角色和目标,从而实现能够揭示潜在安全故障的逐步升级。
- 双重用途处理 (Dual-Use Handling): 在生物学或网络安全等领域,目标不是一律拒绝,而是处理合法请求,同时保留可能导致危害的操作细节。
评分器校准与内部效度
大多数现代评估依赖于基于 LLM 的评分器来处理大量数据,但这些评分器容易产生偏差和故障。为了保持内部效度:
- 简化与原子化: 使用二元(是/否)标准而不是单一的总分,以减少主观性。
- 压力测试评分器: 确保评分器不会受到响应长度、选项顺序或其自身训练数据的偏见影响。始终根据人工标注验证评分器的表现,以确保一致性。
- 显性失败 (Fail Loudly): 如果评分器遇到错误或模糊的输入,它应该标记该项目以供排除,而不是提供一个静默的、可能不正确的评分。
统计严谨性与报告
报告的透明度对于解读评估结果至关重要。Anthropic 主张:
- 预注册: 在收集数据之前定义分析计划、指标和阈值,以防止事后调整。
- 不确定性报告: 始终包含置信区间。如果两个模型版本之间的差异在统计学上不显著,则不应将其呈现为改进。
- 全面记录: 报告所有配置,包括系统提示词、模型版本和采样设置,以确保可重复性。
对于那些希望实施这些实践的人,Anthropic 指出了英国 AI 安全研究所的 Inspect framework 以及他们自己的 Petri toolkit,这些工具可以促进自动化的多轮行为测试。