EM アルゴリズムによるガウス混合モデルと主成分分析 – スタンフォード CS229 講義10 (2026年春)

ガウス混合モデルの EM アルゴリズム

EM アルゴリズムは、対数尤度の下界を反復的に構築しそれを最大化することで、ガウス混合モデルを原理的に当てはめる方法を提供します。

E ステップ：ヤンセンの不等式による下界の構築

E ステップでは、現在のパラメータにおいて厳密であり、それ以外では真の対数尤度以下となる surrogate 関数を構築します。各データ点について、潜在変数 Z 上の分布 Q を導入します。対数尤度を Q に関する期待として書き表し、凹な log 関数にヤンセンの不等式を適用することで下界を得ます。この下界は、Q を事後分布 P(Z|X,θ)（すなわち現在のパラメータ推定に基づく各コンポーネントの条件付き確率）として選ぶときに厳密になります。この選択により、surrogate 関数は現在の θ で真の尤度に接し、surrogate を最大化しても真の尤度が減少することは保証されません。

M ステップ：平均、共分散、混合比率の更新

E ステップから得られた責任度（responsibility）を用いて、M ステップでは期待される完全データ対数尤度を最大化し、これはガウスに対する重み付き最大尤度推定に帰着します。

コンポーネント j の平均は、データポイントの責任度重み付き平均として更新されます。
コンポーネント j の共分散は、新しい平均を中心とする責任度重み付き二次中心モーメントとして更新されます。
混合比率 π_j は、コンポーネント j の平均責任度として更新されます（通常はラグrange multiplier を用いて合計が 1 となるように保証されます）。

これらの更新は、surrogate の導関数をゼロに設定することで得られます。

K‑Means との関係および単調収束

ガウス混合モデルにおける EM は K‑means を一般化したものです：K‑means はハードな割り当てを行い平均のみを更新しますが、EM はソフトな責任度を用い、さらに共分散と混合重みも推定します。surrogate が現在のパラメータにおいて厳密で凹であるため、各 EM イテレーションは真の対数尤度を増加させるか変化させず、局所的最大点または鞍点への単調収束を保証します。

主成分分析 (PCA)

PCA は、中心化されたデータにおける最大の分散を捉える直交方向を見つけ、低次元表現を提供します。

中心化、スケーリング、および分散最大化の視点

まず、データは平均を引くことで中心化され、これにより第一主成分は原点周りの広がりを表す方向を記述します。オプションで、各特徴量を単位分散にスケーリングし、原始的なスケールが大きい特徴量が分散基準を支配するのを防ぎます。中心化後、PCA は射影データの分散を最大化する単位ベクトル u を求め、これは垂直残差の二乗和を最小化することと等価です。

固有分解の解釈およびコンポーネント選択

この最大化問題は、経験的共分散行列 (XᵀX/(n‑1)) の固有値問題に帰着します。固有ベクトルが主成分であり、対応する固有値が各コンポーネントが説明する分散に等しくなります。固有値は降順に並べられ、したがって第一固有ベクトルは最大分散の方向を、第二固有ベクトルは残りの分散が最大となる直交方向を与え、以下同様です。上位 k 個の固有ベクトルにデータを射影すると、最も多くの分散を保持する k 次元表現が得られます。

実際の注意点および PCA が失敗する場合

PCA は、関心のある方向が共分散行列のよく分離された固有値に対応すると仮定します。固有値が近い場合、推定された固有ベクトルは不安定になり得て、新しいデータにおいて異なるコンポーネントをもたらす可能性があります。また、この手法は欠損値を扱いません；欠損データは事前に補完または破棄する必要があります。最後に、PCA は分散を保持することが目的である場合にのみ適切であり、予測信号が低分散方向にある場合、PCA は有用な情報を破棄する可能性があります。