ニューラルネットワークはすでにクリーンである：カマラタによる「重ね合わせは誤読だった」という主張

ニック・カマラタのエッセイ「ニューラルネットワークはすでにクリーンである」は、already-clean.goodfire.comで公開され、Hacker Newsで議論された（801ポイント、325コメント）。このエッセイは、ニューロンの直接研究を放棄するこの分野の中心的な正当化理由である「重ね合わせ」が証拠の誤読であり、現代のニューラルネットワークは通常の科学で直接研究できるほど読み取れるものであると主張している。

このエッセイの中心的な主張は、ネットワーク自身のメカニズムがその読み取り可能な構成要素であり、機械的解釈可能性はこの分野が恐れていたよりもはるかに扱いやすいかもしれないということだ。カマラタは「恣意的な詰め込みのように見えたものは、ほとんどが『再帰的一般化』と呼ぶモチーフであり、はるかに懸念すべきものではない」と書いている。

猫と車のニューロンはV字型ニューロンである

多義的ニューロンの最も有名な例は、InceptionV1のユニット4e:55であり、猫の顔と車の前面の両方に反応するように見えた。この例を広めた2020年のDistill論文『ズームイン』の共著者であるカマラタは、今ではこのニューロンはV字型検出器であると言う。

ニューロンの回路接続を調べると、V字型の炎、消防艇からのV字型の水噴流、V字型のキツネの顔を見つけた。その負極は、V字の先が尖っている部分が丸いOに反応する。下流の読み取り役には、炎ニューロン、コヨーテの顔ニューロン、マティーニグラスニューロンが含まれる。

カマラタは、当初の誤読は2つの複合的な誤りに起因するとしている。第一に、この分野は一般化された姿勢ニューロンについて知らなかった。InceptionV1には100以上のそのようなニューロンがある。第二に、特徴可視化はより深い層で報酬ハッキングされていた。勾配降下法は最も簡単な経路を取るが、InceptionV1ではそれはしばしば犬を意味する。なぜなら、トレーニングデータには多くの犬と多くの犬ニューロンが含まれているからだ。「トップ画像が取る自然な経路に軽くバイアスをかけるだけでも、そのほとんどは車であり、共有された姿勢のために犬と車の両方であるものもある。」

同じ誤りが、カマラタが2019年に見つけた標準的な重ね合わせ回路にも影響を与えた。それは、車の特徴が無関係な犬ニューロンのセットに広がっているように見えた。彼は今、車と犬は共有された姿勢によって結び付けられており、その組み合わせを直接読み取るものは何もないと言う。「それは何も隠していなかった。普通の一般化と構成だった。私の知る限り、正しい形を持つ2番目の回路を発表した人はいない。」

InceptionV1の最後の層は学習の失敗であり、重ね合わせではない

このエッセイの2番目の主要な主張は、InceptionV1のいわゆる解釈不可能な後期層はアーキテクチャ上の問題だったということだ。カマラタは、この分野が初めてこのモデルを研究したとき、その最後の層のニューロンのほとんどすべてが容易に解釈できなかったことを回想する。彼が引用したある推定では、「私の知る限り、InceptionV1の最終層には実質的に解釈可能なニューロンは存在しない」とされていた。

より優れた解釈可能性ツールを使うと、彼は同じネットワークでその数字を約50%に設定している。同じアーキテクチャをより合理的な現代の正則化で再トレーニングすると、約70%に上昇する。同じサイズで同じデータセットでトレーニングされたConvNeXtは、約99%に達する。

これを修正したアーキテクチャの変更は、解釈可能性のために設計されたものではなかった。残差接続とLayerNormは、深いネットワークの学習を助けるために導入された。カマラタは、それらはまた深い層を概念的にクリーンにしたと主張する。「これらの通常の改善により、モデルサイズやトレーニングデータを変更することなく、その最後の層のニューロンの99-100%が容易に解釈可能であり、モデルは全体を通して広く読み取れる。」

彼は、サイズが約300倍に及ぶConvNeXtモデル（92k、7.06M、28.6Mパラメータ）をトレーニングし、ネットワークはあらゆるスケールで広く読み取れると報告している。小さなモデルは、断片化されたニューロンではなく、より粗いニューロンを持つ。「スペースが少ないと、ネットワークは無関係なものを一緒に折りたたむのではなく、そのニューロンはより粗い粒度の概念をカバーするだけだ。例えば、1つの車ニューロンが多くの種類の車をカバーする。」

再帰的一般化が重ね合わせに取って代わる

カマラタが提案する重ね合わせの代替案は、彼が「再帰的一般化」と呼ぶモチーフである。ニューロンが成長するにつれて、木の枝がサブブランチを生やすように、オフシュートを生やす。"iy"を検出する言語モデルのニューロンは、"diy"を検出するように成長し、次に"do it yourself"を検出するように成長する。そこには"iy"はまったく含まれていない。

彼は、このアイデアは2021年の『マルチモーダルニューロン』論文の忘れられたサブセクションに初めて登場し、そこで「結合特徴」と呼ばれていたと言う。当時、彼はトレーニング中にニューロンが成長するのを見ていなかった。今では、彼が見たどこでも、元のInceptionV1を含めて、このアイデアは成り立つと言う。その最も読み取りにくいニューロンは「局所的に、合理的で隣接する領域に過成長していることが判明する」。

この区別が重要なのは、2つの説明が反対の予測をするからだ。一般化は類似したものをグループ化するので、グループ化はネットワークがどのように考えるかの手がかりとなる。重ね合わせは無関係なものをグループ化するので、グループ化はほとんど何も教えない。「重ね合わせはこの分野が賭けたものであり、最近まで私もそうだった。しかし、私は今、再帰的一般化が基本的に正しかったと思う。」

現代のモデルはどの程度解釈可能か？

カマラタは、Qwen3-32Bの予備的な監査を報告しており、ニューロンの極の約90%が1つの主要な仕事を持ち、しばしば小さな関連するオフシュートを持ち、約7%が2つの関連する仕事を持ち、約2-4%だけがまだ理解されていない。彼は、正確な数は、弱い活性化のしきい値、深さ、そして「1つのこと」と見なされるものに依存すると述べている。

彼はこれを以前の結果と対比している。Anthropicの2023年の『単義性に向けて』論文は、小さな1層モデルを研究し、中央値のニューロンにそのルーブリックで0/14を与えた。つまり、評価者は仮説を立てることができなかった。カマラタが2023年に開始したOpenAIの自動解釈可能性プロジェクトは、その最も寛大な尺度でニューロンの約1.7%が解釈可能であることを見出した。

その元のプロジェクトで使用されたモデルであるGPT-2 XLについては、当時、ニューロンの2%未満がクリーンに出てきたと報告している。現代のツールで戻って、ほとんど反復なしで500のニューロンペーパーを作成すると、約70%が今ではほぼ1つのことをしているように見える。約5%は完璧だ。

彼はまた、同じ結果が数兆パラメータまでのモデル、Kimi K3を含めて成り立つと報告している。これについては、姉妹論文でより詳細に取り上げられる予定だ。このエッセイには、数兆パラメータモデルの最初の公開された帰属グラフとして説明されているものが含まれている。

圧縮層実験

ネットワークが圧縮下で重ね合わせに切り替わるかどうかをテストするために、カマラタはInceptionV1をレイヤー3bを480ニューロンから10に削減して再トレーニングし、レイヤーをバイパスするものはなかった。モデルは、50,000枚の保留されたImageNet画像で58.35%のトップ1および81.14%のトップ5精度に達した。

重ね合わせがフォールバックであるならば、レイヤーは曲線、色、テクスチャの重複する混合を示すはずだった。代わりに、ニューロンは解釈可能なままであったが、より粗くなった。10個の曲線検出器の代わりに1つの「曲線とループ」ニューロン、いくつかの円タイプの代わりに2つの円ニューロン。

次に、彼は圧縮されたレイヤーに640の特徴を持つTopKスパースオートエンコーダをトレーニングした。SAEは保留された位置の分散の82%を説明し、それをスプライスすると、10,000枚の検証画像でのトップ1は58.8%から43.0%に低下した。元の曲線検出器に最もよく一致したSAE特徴は、クリーンな曲線ではなく、広くて束になっていた。「クリーンな曲線ニューロンのようなものは見られない。」

並行実験では、7.06MパラメータのConvNeXtの最後の層を1,024ニューロンから13に圧縮し、スクラッチからトレーニングした。結果は同じパターンの拡大だった。

弱い活性化はほとんどが一般化である

カマラタは、弱い活性化は隠れた特徴が隠れる場所ではないと主張する。彼の推論は、弱い活性化は強いものよりもはるかに密度が高いため、詰め込まれた特徴はほとんど利益なしに桁違いに多くのものと衝突するだろうということだ。

彼は、中規模のConvNeXtで最も弱い75%の活性化を削除すると、精度が72%から71%に低下し、10の回答のうち1つが変わると報告している。最も強い7%を削除すると、精度が72%から4%に低下し、100の回答のうち96が変わる。「重要な一般的なものは弱い活性化にあるはずがない。なぜなら、それらを削除できるからだ。」

彼はまた、パーセンタイルベースの考え方に反対している。「99パーセンタイルは高く聞こえるが、100トークンに1つはページの約4分の1であり、ニッチな感情や社会的文脈のためのニューロン（言語モデルにはあふれている）は、1ページに4回出現するべきではない。」

言語モデルの例

いくつかの具体的な言語モデルのニューロンが、この議論を説明するために使用されている。標準的なトップk自動解釈可能性が「多義的コンマニューロン」とラベル付けするニューロンは、コロラドを追跡していることが判明した。電話番号、スラング、他のコロラドニューロンへの接続。それをステアリングすると、モデルはハイキングに行きたがった。コンマは、モデルがコロラドの文脈の実行中の要約を保存する場所である。

"pr"で発火するニューロンは、Base64 URL文字列とベンガル語テキストでも発火する。URLをデコードすると"pr"の単語が生成され、ベンガル語を音訳すると"pr"が生成される。

JavaScriptライブラリであるCesiumに一般化する地質学ニューロンは、再帰的一般化のオフシュートとして提示されている。宮崎ニューロンは、著者らが試したすべてのスクリプトと意味でその名前に発火し、「千と千尋の神隠し」のような後の連想を供給する。

SwiGLUの二重否定レジーム

カマラタは、彼の知る限り誰も気づいていなかったSwiGLUニューロンの二重否定レジームを発見したと報告している。現代のニューロンはゲートと値の両方を持ち、両方が負の場合、積は正になるため、ニューロンは2つのまったく異なる理由で発火できる。

ある例では、トップkダッシュボードが「コロサイ人への手紙への言及」を示すニューロンは、それらの活性化のすべてでゲートが閉じていることが判明した。ニューロンの実際の仕事は、任意のスクリプトで「ロシア」または「ロシア語」を完成させるトークンである。ニューロンの約4%で、エコーはリストのトップ全体である。ネットワーク全体でそれらをアブレーションすると、ほとんどのベンチマークが上昇するが、いくつかの推論ベンチマークは低下する。

アテンションと残差ストリーム

カマラタはアテンションについてはより慎重だ。彼は、誰もアテンションを十分に理解して、その読み取りにくさが重ね合わせであると自信を持って言えるとは思わないと書いている。彼は、グローバルなアテンションヘッド名を持つことの限界的な「説明残差」を、100の帰属グラフにわたる彼自身の推測とエージェントの独立した推定に基づいて、約5%と見積もっている。

残差ストリームについては、それを4倍と8倍狭く（最後のブロックで46次元まで）圧縮し、すべてのニューロンを維持しながら、精度が72%から60%と39%に低下したと報告している。結果のマップは、通常の幅のモデルと似ており、ただより乱雑だった。「巧妙にインターリーブされたものは何も見えない。」

負ける可能性のある説明のテスト

このエッセイは「ブラインド最大」テストを説明している。1つのエージェントがニューロンを調査し、短い説明を書く。2番目のエージェントはその説明だけを見て、それを最大限に活性化することを意図した例を書く。結果は通常、単純で読みやすい文であり、100億トークンで見つかったどの例よりもニューロンを強く活性化できる。

200のランダムなニューロンに関する別のテストでは、エージェントは各ニューロンの説明だけを読み、それを駆動するはずの5つの新しい例と、駆動しないはずの5つのニアミスを書いた。説明がその正の側面を説明している183のうち、新しい例は76%の確率でニューロンを強く発火させ、ニアミスは11%だった。説明は164で勝ち、15で引き分け、4で負けた。

エージェントはまた、想像できる最も遠い概念（ネットワークが干渉なしに詰め込むことができる種類のもの）を書いた。それらのテキストは約1%の確率でニューロンを強く発火させ、183のニューロンのうち179はそれらでまったく発火しなかった。

解釈可能性のための苦い教訓

カマラタは、この議論を4つのステップとして組み立てている。ネットワークは1つの学習原理を使用し、2つではない。現代のモデルとツールでは、その科学は期待よりも良く進む。理解は複合する。そして、推測的に、これは必要なもののほとんどかもしれない。

彼はリッチ・サットンの苦い教訓を引用している。「解釈可能性のための苦い教訓もあるかもしれない。通常の調査をスケーリングすることは、巧妙な新しい分解をエンジニアリングすることに勝る。」

彼はまた、監査するための大きな特徴リストを求める列挙的解釈可能性と、質問から始まり帰属グラフとメカニズムを流動的にズームする探索的解釈可能性を区別している。「このアプローチは、多義性に対してはるかに回復力がある。」

Hacker Newsの議論からの批判と反論

何人かのコメンテーターがエッセイの範囲に反論した。ある人は、その主張は過大評価であり、宝くじチケット仮説とマルチモーダルギャップ研究（arXiv:2203.02053）を引用した。これは、ネットワークが意味論的ではない凝縮された表現に向かう傾向があることを示唆している。

「これらの主張は、実際に証明されていることの過大評価のようだ...機械的解釈が目前にあると主張し始めるには、これらがすべて十分に考慮されているとは思わない。」

別のコメンテーターは、残りの説明されていないニューロンが最も重要なものであるかもしれないと疑問を呈した。

「もしその約2-4%が創発的認知の中心的なハブであるならば、重みの96-98%を理解することは、著者が考えているほど価値がないかもしれない。」

スレッドでリンクされたニール・ナンダの応答は、次のように要約された。「これは興味深い仕事だが、解釈可能性の全体像への重要なアップデートだとは思わない。」ナンダは、実用的な問題のためのニューロンを使った探索的解釈可能性には賛成だが、野心的なリバースエンジニアリングへの実質的な進歩についてのより壮大な推論には同意しないと言った。

元神経科学者は、一次視覚野が空間的に調整された形状とエッジのニューロンを含むことが長い間知られていると述べ、著者らが人間の視覚システムがどのように機能するかを調べたかどうか尋ねた。

あるコメンテーターは、元の『ズームイン』の誤りが軽く扱われすぎていると主張した。

「この種の誤りは、研究者を何年も誤解させたかもしれない。それは実際に有害だった。私の分野では、この規模のものには訂正、あるいは場合によっては撤回（主張の中心性に応じて）が標準的だろう。」

他の人々は、心がそれよりもはるかに大きな心を理解できるかどうか、そして読み取り可能性が意味と同じであるかどうかという哲学的な問題を提起した。

「ニューロンは、特定の機械の中のネジのように、汚く、偶発的で、盲目的に進化した部分だ...エッセイはニューロンが読み取り可能であることを示しているが、読み取り可能性は意味と同じではない。」

あるコメンテーターは、エッセイの中心的な主張の圧縮された要約を提供した。歴史的に、人々はニューロンが無関係な概念の束を処理すると考えていたが、このブログはそれが方法論的な誤りだったと言っている。犬/車ニューロンはただのV字型ニューロンである。

何人かのコメンテーターはエッセイのプレゼンテーションを賞賛したが、インタラクティブな3Dビジュアライゼーションがページを重くしたと指摘する人もいた。ある読者は用語集付きの凝縮版を制作し、別の読者は音声版を生成した。

エッセイが安全性について主張すること

カマラタの締めくくりの議論は、欺瞞はモデル自身の回路から隠れる理由がないということだ。なぜなら、それはモデルの読み手にアクセス可能である必要があるからだ。「私の恐れは、欺瞞がそこに、明白にあり、私たちがそれを読む方法を知らないだろうということだ。」

彼は、誤りは非対称であると主張する。ネットワークがクリーンであると仮定して間違えると、乱雑なニューロンは調査すべき手がかりになる。それが詰め込まれていると仮定して間違えると、乱雑なニューロンは調査の終わりになる。「私は何年もその2番目の仮定を立てており、それはそれを覆すはずの証拠を説明してしまった。」

彼の推測では、フロンティアネットワークは、ビジョンモデルが8年前にあった場所にある。読み取り可能だが、多くの小さな修正を待っている。「彼らは、人間がビジョンモデルで10年近くかかったことを、フロンティア言語モデルで数ヶ月でできるかもしれない。」

言語モデルのニューロン実験の詳細、現代の非線形性の異なるレジームと異なる深さでの回路モチーフを含む、技術的な姉妹論文が約束されている。