Anthropicによるフィーチャーステアリングの評価：社会的バイアス緩和のケーススタディ

Anthropicは、モデル内部のフィーチャー（特徴量）を修正することで、社会的バイアスを確実に緩和できるかどうかを判断するために、Claude 3 Sonnetにおけるフィーチャーステアリングの定量的評価を行いました。研究の結果、ステアリングは特定の行動に影響を与え、特定のバイアスを減少させることができる一方で、予測不可能な「オフターゲット効果」を引き起こし、特定の範囲を超えて適用されるとモデルの一般的な能力を著しく低下させる可能性があることが明らかになりました。

フィーチャーステアリングの「スイートスポット」

フィーチャーステアリングは、辞書学習（dictionary learning）を用いてモデルの残差ストリーム（residual stream）における解釈可能な方向（フィーチャー）を特定し、その方向に定数を加算することで出力を修正する手法です。Anthropicは、モデルの能力が安定して維持される「ステアリング・スイートスポット」——ステアリング係数が-5から5の間——を特定しました。

この範囲内では、MMLUやPubMedQAベンチマークで測定される一般的な知識や推論能力は維持されます。しかし、ステアリング係数がこの範囲を超えると、モデルの能力は急激に低下し、モデルが使用不能になる可能性があります。

社会的および政治的バイアスへの影響

BBQ (Bias Benchmark for QA) とモデルが作成した評価用データセットを使用して、Anthropicは社会的バイアスと政治的イデオロギーに関連する29個のフィーチャーをテストしました。結果は、ステアリングがターゲットを絞ったものにも予測不可能なものにもなり得ることを示しています。

ターゲットを絞ったバイアスへの影響

バイアス減少: 「Multiple perspectives and balance」フィーチャーをポジティブにステアリングすることで、BBQの全体的なバイアス・スコアを約3%減少させ、Ageバイアス（17%）とDisability Statusバイアス（7%）を大幅に減少させました。
政治的立場: 「Pro-life and anti-abortion stance」フィーチャーをステアリングすることで、反アボーション（中絶反対）の選択が50%増加し、「Left-wing political ideologies」フィーチャーをステアリングすることで、それらが47%減少しました。

オフターゲット効果

Anthropicは、フィーチャーの活性化が必ずしも結果としての行動に直接マッピングされるわけではないことを示唆しており、ステアリングが関連のないドメインに影響を与えることがよくあることを観察しました。

性別と年齢のバイアス: 「Gender bias awareness」フィーチャーをステアリングすることで、性別バイアス・スコアが10%増加し、予期せず年齢バイアス・スコアが13%増加しました。
ドメインを跨いだ政治的影響: 「pro-life」フィーチャーのステアリングは、移民に関する懸念に特化したフィーチャー（3.90%の変化）よりも、反移民の選択（21.60%の増加）に対してより大きな影響を与えました。

有望な中立性フィーチャー

研究者は、ステアリング・スイートスポット内において、9つのすべてのBBQベンチマークの次元において一貫してバイアス・スコアを減少させた2つの特定のフィーチャー——「Neutrality and Impartiality」と「Multiple Perspectives」——を特定しました。「Neutrality and Impartiality」のステアリングはBBQの精度をわずかに低下させましたが、「Multiple Perspectives」フィーチャーはステアリング範囲全体にわたって精度を維持しており、これは、一般的な有用性を損なうことなく社会的バイアスを緩和するための潜在的な道筋を示唆しています。

技術的な限界と学んだ教訓

Anthropicは、フィーチャーステアリングを安全性のツールとして利用する際の信頼性に影響を与えるいくつかの制約と知見を挙げました。

評価のノイズ: 精度は質問ごとに10個の回答をサンプリングすることで推定されており、これが結果にノイズを導入しました。
コンテキストと行動の乖離: フィーチャーは、それらが活性化する場所によって特定されますが、それらが生成する行動ではありません。その結果、フィーチャーステアリングは必ずしもモデルの出力を予測可能な変化へと導くわけではありません。
研究の範囲: この研究では、数百万のフィーチャーのうちの29個のみを分析しており、5つの評価を使用しているため、知見を結果に一般化することは困難です。

将来の研究方向

フィーチャーステアリングの精度を高めるために、Anthropicはいくつかの将来の方向性を提案しています。

SAEのスケールアップ: より大きなSparse Autoencoders (SAEs) が、より感度の高いオンターゲットなフィーチャーを特定し、オフターゲット効果を減少させるかどうかを調査すること。
洗練されたステアリング実装: モデルの処理プロセスを混乱させないよう、プロンプト全体ではなく、アシスタントの応答トークンに対してのみステアリングを適用すること。
代替のステアリング手法: 「文法的に不自然な」内部状態を作り出すことを避けるため、現在の加算的なアプローチではなく、乗法的、投影的、または条件付きステアリングを検討すること。
回路分析 (Circuit Analysis): 個々のフィーチャーではなく、相互に接続されたニューロンのグループである「回路 (circuits)」を研究することで、フィーチャーが特定の機能を実行するためにどのように連携して機能するかを理解すること。"} ,