スタンフォード CS229 2026年春 第16講義: トランスフォーマー注意のバリエーション、エキスパートの混合、およびイン・コンテキスト学習
トランスフォーマー注意の復習
講義は、基本的なトランスフォーマー注意機構について聴衆に思い出させることから始まります。単一のヘッドでは、クエリ Q、キー K、バリュー V は各行がタイムステップに対応する行列です。注意スコアは QKᵀ を計算し、自己回帰的動作を強制するためにマスクをかけ、その後行ごとのソフトマックスを適用し、V を掛けることで得られます。その結果は、値の重み付き和になります。複数のヘッドを使用する場合、各ヘッドは異なる重みを持つ独自の Q、K、V 行列を持ちますが、構造は同じです。
グループクエリ注意
推論中のキー・バリュー（KV）キャッシュのメモリフットプリントを削減するため、講義ではグループクエリ注意（GQA）を説明します。各ヘッドごとに別々のキーとバリューベクトルを保存する代わりに、GQA は複数のクエリヘッド間でより小さなキーとバリューのセットを共有します。各クエリヘッドは決定論的なマッピング（例：floor((j‑1)/tall)+1）によってキーのグループに割り当てられます。注意計算では、グループ内のすべてのクエリに共有キーを使用しながら、各ヘッドは依然として独自の出力を生成します。これにより、保存されるキー/バリューベクトルの数が NH（ヘッド数）から NG（キー・グループ数）に減少し、GPU メモリ使用量が減少し、より大きなバッチサイズを可能にします。
スライドウィンドウ注意
続いて、講義ではフルアテンションの二次計算コストを削減する手段としてスライドウィンドウ注意を紹介します。各クエリがすべて以前のキーに注意を向ける代わりに、各クエリは固定ウィンドウサイズ W の最も最近の W 個のキーのみに注意を向けます。これにより計算量は O(T²) から O(T·W) に変わります。トップレイヤーの注意は最近のトークンに制限されますが、深いレイヤーでは以前のトークンからの間接的な情報伝播が可能となり、L レイヤーに対して概ね L·W トークンの有効な受容野を得られます。トレードオフは、長距離依存関係の低下と引き換えに計算とメモリの削減です。
エキスパートの混合（MoE）
次に、講師は計算量に比例せずにモデルのパラメータ数を増やす手段として、エキスパートの混合（MoE）レイヤーについて説明します。MoE レイヤーは多数のエキスパートネットワーク（通常はフィードフォワードネットワーク）と、各トークンに対して少数のエキスパートを選択するルーティングモジュールで構成されます。たとえば、合計 128 個のエキスパートとトップ‑2 ルーティングを使用すると、各トークンで 2 つのエキスパートのみがアクティブになり、アクティブなパラメータ数は総数よりもはるかに小さくなります。ルーティングは通常、学習された射影に続いてソフトマックスまたはシグモイドを適用し、選択されたエキスパートの出力は重み付き和で組み合わされ、合計が 1 になるように再正規化されます。常にアクティブな共有エキスパート（共通知識を捉えるため）を含めることもできます。動機は計算効率と、エキスパートが異なる言語現象に特化することを期待することですが、特化は明示的な監督ではなくエンドツーエンドのトレーニングから暗黙的に現れます。
イン・コンテキストおよびゼロショット学習
講義では、勾配更新を行わずに大規模言語モデルを新しいタスクに適応させる方法について説明します。イン・コンテキスト学習では、デモンストレーション例（入力‑出力ペア）とテスト入力を連結し、モデルに答えを生成させます。ゼロショット学習はさらに進み、タスクの説明のみ（例：「メールを請求または技術に分類」）を提供し、例は与えません。モデルは事前学習された知識に頼って正しい動作を推測します。これらのアプローチが機能する理由は、モデルがプロンプトをコンテキストとして扱い、デモンストレーションされたパターンに一致する継続または指示に従った生成を行うためです。
指示チューニング（教師ありファインチューニング）
最後に、講師はゼロショットおよびイン・コンテキスト能力を強化する手段として指示チューニングを説明します。指示‑出力ペア (X, Y) からなるデータセットを収集し、ここで X はタスクの説明、Y は望ましい応答です。その後、標準的な言語モデル損失（X 条件下での Y の負の対数尤度）を使用してこのデータセット上でモデルをさらに訓練します。この教師ありファインチューニングはアーキテクチャを変更せず、パラメータを調整して、プロンプト時に指示に従い適切な出力を生成しやすくします。その結果得られるモデルは、ゼロショットおよび few‑shot タスクでのパフォーマンスが向上します。