OpenAI、GPT‑4を使用してGPT‑2の自動ニューロン説明データセットを公開

TL;DR

OpenAIは、GPT‑4 を活用して GPT‑2 の個々のニューロンに対する自然言語による説明を書き、評価する自動パイプラインを導入し、説明全文、スコア、可視化ツール、コードをオープンソース化しました。

手法の概要

このアプローチは、GPT‑2 の 307,200 個のニューロンそれぞれに対して 3 つのステップを適用します。(1) GPT‑4 にニューロンの挙動を短く説明させ、(2) GPT‑4 に対抗例を生成させて説明を洗練し、(3) 最終的な説明を GPT‑4 自身の判断でスコア付けします。このパイプラインは OpenAI API 上で動作し、数十億パラメータ規模のモデルにも解釈可能性の作業をスケールさせることを目的としています。

主な発見

  • 層ごとの説明品質の違い: 大規模モデルの後半層ではスコアが低下し、深い層のニューロンは短いテキスト記述で捉えるのが難しいことが示唆されました。
  • 反復的な洗練がスコアを向上: GPT‑4 に対抗例を求め、説明を修正することで平均品質が上がります。
  • モデルサイズの影響: より大きな説明モデルは高スコアの説明を生成しますが、GPT‑4 でも人間のアノテーターには及びません。
  • 活性化関数が解釈性に与える影響: 異なる活性化関数で学習した GPT‑2 バリアントは、スコアがわずかに改善されました。
  • データセット統計: 1,000 以上のニューロンがスコア 0.8 以上を獲得しており、GPT‑4 がその説明がニューロンの上位活性化挙動の大部分をカバーしていると判断したことを意味します。高スコアのニューロンの多くは特に目立たないものですが、興味深いニューロンの多くは依然として十分に説明できていません。

公開リソース

  • 説明データセット: すべての GPT‑2 ニューロンに対する自然言語説明と GPT‑4 スコア。
  • ニューロンビューア: 説明と活性化パターンを閲覧できるインタラクティブなウェブツール。
  • コードベース: 説明とスコアリングパイプラインのオープンソース実装。OpenAI API を通じて公開されているモデルと互換性があります（GitHub: openai/automated-interpretability）。

制限事項

  • 説明の単純さ: 短いテキスト記述では、多義的または高度に複雑なニューロンの挙動を捉えきれない可能性があります。
  • 分析範囲: 本手法は入力テキストに対するニューロン活性化のみを説明し、下流への影響や回路レベルの相互作用は扱いません。
  • 相関と因果の区別: 説明は観測された相関を記述しており、分布外入力に対しては失敗することがあります。
  • 計算コスト: すべてのニューロンに対して GPT‑4 を実行するには膨大な計算資源が必要です。

今後の方向性

OpenAI はこの技術を以下に拡張することを目指しています。

  • 注意ヘッドを含む完全なニューラル回路に対する説明生成。
  • 多義性を捉えるための、よりリッチで多文あるいは構造化された記述の生成。
  • 人間の解釈研究者のワークフローを模倣した、仮説検証と反復の自動化。
  • より大規模で高性能なモデルにパイプラインを適用し、デプロイ前に欺瞞やバイアスといった整合性・安全性問題を検出。

コミュニティへの呼びかけ

公開されたデータセットとツールは、以下の研究を促進することを意図しています。

  • 高品質なニューロン説明を生成する新アルゴリズム。
  • 説明を活用した可視化・分析手法。
  • 自動説明と人間の解釈を比較するベンチマーク。

「研究コミュニティが、より高スコアの説明を生成する新技術や、説明を用いた GPT‑2 の探索ツールを開発してくれることを期待しています。」 — OpenAI 研究チーム

著者: Jan Leike, Jeffrey Wu, Steven Bills, William Saunders, Leo Gao, Henk Tillman, Daniel Mossing

Sources