Anthropic 強固な安全性評価の構築
堅牢な安全性評価の構築
安全性評価は、AIモデルが展開に適しているかどうか、またどのような保護策が必要かを判断するために重要です。しかし、安全性の主張は、その背後にある評価方法論と同じくらい信頼できるものにすぎません。AI評価は、ゲーミング、再現性の低さ、測定誤差の影響を受けやすいことが多いため、Anthropic は、事前登録、専門家主導の設計、統計的厳密性など、心理学で使用されるものと同様の厳格な基準を採用することを推奨しています。
チーム構成と環境
効果的な安全性評価を構築するには、学際的なアプローチが必要です。技術専門家はサンプリングと分析に焦点を当てるべきであり、生物学者、心理学者、政治学者などのドメイン専門家は、何が害を構成するかを定義し、境界事例を特定し、「良い」応答がどのようなものかを確立する必要があります。
さらに、安全性評価は、安全なサンドボックス環境で実施する必要があります。モデルはテスト中に境界を調査したり、意図しないアクションを取ろうとする可能性があるため、評価はリアルタイムで監視し、インターネットアクセスを制限または厳密に制御する必要があります。Anthropic は、内部のセキュリティインシデントに対応して、これらの環境の強化に取り組んできました。
安全性のための設計原則
評価は、問われている特定の質問に一致するように設計する必要があります。観察的デザインはベースラインの行動を測定するのに適していますが、システムプロンプトの変更などの特定の介入が実際に安全性を向上させるかどうかを判断するには、因果的デザインが必要です。
主要な設計上の考慮事項は次のとおりです。
- 構成概念妥当性: 指標が意図した概念を測定していることを確認します。たとえば、自殺や自傷行為の文脈では、高い拒否率は必ずしも安全性の兆候ではありません。適切な応答は、代わりに共感を提供し、ユーザーを人間によるサポートに導く必要があります。
- マルチターンシミュレーション: シングルターンのプロンプトはすぐに飽和状態になり、実際のユーザーインタラクションのニュアンスを捉えることができないことがよくあります。Anthropic は、モデルベースの「ユーザー」が指定されたペルソナと目的に従うマルチターンシミュレーションを使用し、潜在的な安全性の失敗を明らかにする段階的なエスカレーションを可能にします。
- デュアルユースへの対応: 生物学やサイバーセキュリティなどの分野では、目標は単純な拒否ではなく、害を促進する可能性のある運用上の詳細を差し控えながら、正当な要求に対応することです。
グレーダーの較正と内的妥当性
最新の評価のほとんどは、大量のデータを処理するためにLLMベースのグレーダーに依存していますが、これらのグレーダーはバイアスや失敗の影響を受けやすいです。内的妥当性を維持するには、次のことを行います。
- 単純化と原子化: 主観性を減らすために、全体的なスコアではなく、バイナリのイエス/ノー基準を使用します。
- グレーダーのストレステスト: グレーダーが応答の長さ、オプションの順序、または自身のトレーニングデータによってバイアスを受けていないことを確認します。常に、人間のラベルに対してグレーダーのパフォーマンスを検証して、一致を確認します。
- 明確に失敗する: グレーダーがエラーや曖昧な入力に遭遇した場合、黙って潜在的に不正確なスコアを提供するのではなく、除外するためにアイテムにフラグを立てる必要があります。
統計的厳密性と報告
報告の透明性は、評価結果を解釈するために不可欠です。Anthropic は次のことを提唱しています。
- 事前登録: データ収集前に分析計画、指標、しきい値を定義して、事後的な調整を防ぎます。
- 不確実性の報告: 常に信頼区間を含めます。2つのモデルバージョン間の差が統計的に有意でない場合、それを改善として提示すべきではありません。
- 包括的なドキュメント: 再現性を確保するために、システムプロンプト、モデルバージョン、サンプリング設定など、すべての構成を報告します。
これらのプラクティスを実装しようとしている人々のために、Anthropic は、自動化されたマルチターンの行動テストを容易にするツールとして、英国AI安全研究所の Inspectフレームワーク と自社の Petriツールキット を指摘しています。