Anthropic Toy Models of Superposition Research

Anthropicは、「Toy Models of Superposition」という研究プロジェクトを発表しました。これは、ニューラルネットワークが利用可能な次元数よりも多くの特徴量をどのように表現するかを調査するものです。この現象は「superposition（重ね合わせ）」と呼ばれ、入力特徴量が疎（sparse）である場合、モデルは線形モデルよりも効率的に情報を圧縮できることを可能にします。

The Mechanism of Superposition

Superpositionは、モデルがその次元数で許容されるよりも多くの特徴量を表現するときに発生します。トイモデル（具体的には、疎な入力特徴量を持つ合成データでトレーニングされた小さなReLUネットワーク）において、Anthropicの研究者たちは、モデルが単一の次元に複数の特徴量を格納できることを見出したことがありました。

The Role of Sparsity and Nonlinearity

Sparsity（疎性）は、superpositionの不可欠な要件です。入力特徴量が疎である場合（つまり、一度に少数の特徴量のみがアクティブになる場合）、モデルは隠れ層により多くの特徴量を詰め込むことができます。しかし、この圧縮には代償が伴います。特徴量間の「interference（干渉）」です。

この干渉を解決するために、モデルは非線形フィルタリングを利用します。ReLU (Rectified Linear Unit) 活性化関数において、モデルは他の特徴量の干渉によって生じるノイズをフィルタリングして取り除くことができ、圧縮された表現にもかかわらず、特定の同一の特徴量を効果的に分離することができます。

Implications for Model Interpretability

Superpositionのトイモデルに関する研究は、モデルの内部表現が、どの特徴量がアクティブであるかの1対1の写像であるとは限らないことを示唆しています。これは、複雑なモデルの内部状態が、モデルの幅よりもはるかに多くの特徴量を表現できる可能性があることを意味しており、モデルの内部重みがどのようにニューロンが特定の概念を表現するかを理解するプロセスを複雑にしています。