Anthropic Softmax Linear Units (SoLU) Research

Anthropicは、MLPレイヤーにおける標準的な活性化関数の代替として、人間が理解可能な概念、フレーズ、またはカテゴリに反応するニューロンの数を増やすSoftmax Linear Units (SoLU) を導入しました。このアーキテクチャの変更は、機械学習の全体的なパフォーマンスに大きなコストをかけることなく、モデルの解釈性を向上させます。

The Softmax Linear Unit (SoLU) Architecture

SoLUは、TransformerのMulti-Layer Perceptron (MLP) レイヤーにおける従来の活性化関数を置き換えるように設計されています。この変更を実装することで、Anthropicの研究者は、はるかに高い割合のMLPニューロンが「解釈可能」になることを見出しました。つまり、それらは入力データの特定の、言語化可能な特性に反応するということです。

Impact on Neuron Interpretability

Anthropicによって実施されたランダム化およびブラインドテスト実験は、SoLUモデルがより容易に人間が理解できる内部状態を示すことを実証しています。これらのモデルのニューロンは、明確なカテゴリやフレーズに対応する可能性が高くなり、研究者がモデルがどのように情報を処理しているかを理解することを容易にします。

Implications for Transformer Information Processing

SoLUモデルを使用することで、研究者はTransformer内での情報の処理方法について新たな知見を得ました。しかし、この研究は、モデルの特徴量表現に関する技術的なトレードオフも明らかにしました。

The Superposition Hypothesis and Feature Hiding

Anthropicの研究は、SoLUが重ね合わせ仮説（superposition hypothesis）を検証する可能性があることを示しています。証拠は、SoLUが特定のニューロンに特徴を分離することで特定の機能をより解釈可能にする一方で、同時に他の特徴を「隠す」可能性があり、それによって残りの解釈不可能な特徴をさらに深く隠蔽してしまう可能性があることを示唆しています。

このトレードオフにもかかわらず、研究者は、SoLUは人間が実用的に理解できるニューロンの総割合を大幅に増やすため、解釈性研究にとって実質的な勝利であると結論付けています。