AnthropicのLLM解釈に関する研究：ゴールデンゲート・クロードのデモンストレーション

Anthropicは、Claude 3 Sonnet内の特定の概念的な「特徴」を特定し、これらの特徴を外科的に調整してモデルの動作を変更できることを証明することで、大規模言語モデル（LLM）の解釈可能性における画期的な進歩を示しました。

主要な論文で詳述されているこの研究は、内部の神経活性化の強度を操作することで、システムプロンプトやファインチューニングなどの従来の方法を超えて、LLMの出力に正確かつ根本的な変更を加えることができることを示しています。

Claude 3 Sonnetの概念的特徴の理解

Claude 3 Sonnetの内部構造には、Anthropicが「特徴」と呼ぶ数百万の概念が含まれています。これらの特徴は、モデルが関連するテキストや画像を処理する際に活性化するニューラルネットワーク内のニューロンの特定の組み合わせです。

• 特徴の特定： 研究者はこれらの特徴をマッピングし、ゴールデンゲートブリッジなどの概念の言及や画像に遭遇したときに特定のニューロンの組み合わせが活性化することを発見しました。
• 特徴の操作： 重要なことに、Anthropicはこれらの特徴が静的ではなく、その活性化の強度を上下に調整でき、これらの変更がクロードの動作の測定可能な変化に直接対応することを発見しました。

ゴールデンゲートブリッジのデモンストレーション

ゴールデンゲートブリッジは、特徴操作の力を示す具体的な例として使用されました。「ゴールデンゲートブリッジ」の特徴の強度を高めることで、元のクエリが無関係であっても、モデルの応答はそのランドマークに焦点を当てるように強制されました。

• 動作の変化： 「ゴールデンゲートブリッジ」の特徴が強化されると、クロードのほとんどのクエリへの応答は、トピックに関係なくゴールデンゲートブリッジに言及し始めました。
• クエリの例： 10ドルの使い道についてアドバイスを求められた場合、モデルはゴールデンゲートブリッジを車で渡り、通行料を支払うことを推奨しました。ラブストーリーを書くように求められた場合、モデルは霧の日に車が愛する橋を渡る物語を生成しました。何を想像するか尋ねられた場合、ゴールデンゲートブリッジのように見えると想像すると述べる可能性が高いです。

技術的な意義と影響

この解釈可能性の研究は、モデルのコア機能の正確で外科的な変更を可能にするため、大きな進歩を表しており、これは一般的なLLM変更技術とは根本的に異なります。

• 従来の方法との区別： この方法は、モデルに口頭でロールプレイを依頼することと同等ではなく、追加の