影響関数を用いた大規模言語モデルの汎化の研究

Anthropicは、Eigenvalue-corrected Kronecker-Factored Approximate Curvature (EK-FAC) 近似を用いることで、影響関数を大規模言語モデル (LLM) にスケールさせる手法を開発しました。これにより、研究者は特定のトレーニング例がモデルの特定の挙動にどのように最も寄与しているかを特定でき、特定のシーケンスがトレーニングセットに追加された場合にモデルのパラメータと出力がどのように変化するかという反事実的な理解を提供します。

EK-FACによる影響関数のスケーリング

LLMに対する影響関数の計算は、逆ヘッセ行列ベクトル積 (IHVP) の計算を必要とするため、伝統的に困難でした。EK-FAC近似を用いることで、従来の 影響関数推定器と同様の精度を維持しながら、この計算を数桁高速化できます。この手法により、最大 52 billion パラメータを持つモデルの分析が可能になります。

候補となるトレーニングシーケンスの勾配計算の計算コストをさらに削減するために、Anthropicは2つの特定のアルゴリズム手法を採用しています：

• TF-IDF filtering: 分析対象となる候補トレーニングシーケンスを絞り込むために使用されます。
• Query batching: 複数のクエリを同時に処理することを最適化するために使用されます。

LLMの汎化パターンの調査

これらのスケーリングされた影響関数を使用して、AnthropicはLLMの汎化におけるいくつかの重要な領域を調査しました：

• Sparsity of influence patterns: 少数のトレーニング例がどのように特定の出力を駆動する可能性があるかを分析します。
• Abstraction with scale: モデルのサイズが大きくなるにつれて、情報の抽象化能力がどのように向上するかを観察します。
• Math and programming abilities: モデルが数学的推論やコーディングタスクを実行する能力の源泉を特定します。
• Cross-lingual generalization: ある言語でのトレーニングが他の言語でのパフォーマンスにどのように影響するかを理解します。
• Role-playing behavior: 特定のペルソナ採用をトリガーするトレーニングデータを特定します。

汎化における限界

モデルが洗練された形式の汎化を示しているにもかかわらず、研究では重要な限界を特定しています：プロンプト内の重要なフレーズの順序が入れ替わると、影響関数がほぼゼロに減衰します。これは、モデルの汎化パターンの理解が、トレーニングデータ内で提供される情報のシーケンスに非常に敏感であることを示唆しています。

モデルの安全性とリスク軽減への影響

影響関数は、研究コミュニティがモデルの内部ロジックを理解し、LLMのトレーニングプロセスをより詳細に可視化するための強力なツールを提供します。特定の挙動を最も影響を与えるトレーニング例を特定することで、デベロッパーは、モデルの出力に関連するリスクをより良く理解し、軽減することができます。