ガウシアン判別分析 (GDA) – Stanford CS229 2026年春 講義 5

生成モデル vs 識別モデル

生成モデルは、クラス事前確率とともに結合分布 P(X, Y) または等価的に P(X|Y) を学習し、識別モデルは条件付き分布 P(Y|X) を直接学習します。この講義では、ガウシアン判別分析 (GDA) がコースで最初に学習される生成アルゴリズムとして紹介され、これまでに見た識別モデル（線形回帰、ロジスティック回帰）と対比されます。

1次元と2次元のガウシアン分布

R^n の多変量ガウシアンは、平均ベクトル μ と共分散行列 Σ で特徴づけられます。共分散は対称かつ正定値でなければならず、これにより Σ がよく定義された逆行列を持ち、固有値がすべて正であることが保証されます。密度関数は指数関数の中に (x−μ)^T Σ^−1 (x−μ) の項を含み、正規化定数には Σ の行列式が含まれます。等確率の輪郭は Σ によって方向と形が決まる楕円です。

ガウシアン判別分析モデル

GDA は、各クラス k について特徴 X がクラス固有の平均 μ_k を持つガウス分布に従い、すべてのクラスで共通の共分散 Σ を共有すると仮定します。クラスラベル Y は事前確率 π_k = P(Y=k) を持つベルヌーイ変数としてモデル化されます。したがって、生成ストーリーは：まずクラス事前確率に従ってラベルをサンプリングし、その後そのラベルに対応するガウスから X をサンプリングすることです。

GDA の最大尤度推定

ラベル付きデータセットが与えられたとき、最大尤度推定値は閉形式の解を持ちます。クラス事前確率は経験的頻度で推定されます：π̂k = N_k / N （ここで N_k はラベル k の例の数です）。クラス固有の平均は、そのクラスに割り当てられた特徴の平均で μ̂_k = (1/N_k) Σ{i:y_i=k} x_i となります。共有共分散は、すべてのクラスの散らばりをプールして推定されます：Σ̂ = (1/N) Σ_{k} Σ_{i:y_i=k} (x_i − μ̂_k)(x_i − μ̂_k)^T。これらの式はカウントと平均のみを含み、反復最適化は必要ありません。

決定境界とロジスティック回帰との関係

共分散 Σ が共有されている場合、2つのクラス間の対数尤度比は x の親和関数（アフィン関数）に簡約され、そのため GDA の決定境界は超平面（線形）になります。各クラスに独自の共分散を許すと、境界は2次関数になります（2次判別分析、QDA）。講義では、この線形境界はロジスティック回帰モデルでも得られることを指摘しており、データに対する多くの生成的仮定が同じ識別的形式に導かれることを示しています。

離散特徴に対するナイーブベイズ

バイナリな単語出現特徴に対して、ナイーブベイズはクラス条件下で特徴が条件付き独立であると仮定します。この仮定により、特徴の数に対して指数関数的に増加するパラメータ数が線形に減少し、各クラス・各特徴ごとに1つのベルヌーイパラメータとクラス事前確率のみになります。最大尤度推定値は、各クラス内の各単語の経験的頻度（ゼロ確率を避けるためラプラススムージングを適用）となります。その結果得られる分類器は訓練と評価が安価であり、スパムフィルタリングなどのタスクにおける単純な生成ベースラインとして機能します。