スタンフォード CS229 機械学習 2026年春 講義 2：教師あり学習の設定

教師あり学習の設定

教師あり学習は、ラベル付きの訓練ペアから仮説を学習し、新しい入力に対する出力を予測します。仮説とは、入力空間 X を出力空間 Y に写す関数 h のことです。訓練セットはペア (x^{(i)}, y^{(i)}) から構成され、ここで x^{(i)} ∈ X は入力例、y^{(i)} ∈ Y はそのラベルです。目的は、未知の入力に対する予測が真の出力に近くなるように h を選択することで、これを一般化（generalization）と呼びます。

回帰 vs 分類

出力空間 Y が実数を含む場合は回帰問題、Y が有限個の離散ラベルを含む場合は分類問題です。回帰の例としては住宅価格の予測があり、分類の例としては画像に猫が写っているか犬が写っているかを検出することがあります。講義では、Chat‑GPT が次の単語を予測するために分類ヘッドを使用していることが指摘されており、より大きなシステム内の分類要素を示しています。

線形仮説と最小二乗法

線形（アフィン）仮説は h_θ(x) = θ^T x の形を取り、θ はパラメータベクトルで、慣例として x_0 = 1 とすることで切片項を吸収します。パラメータは二乗誤差で測定される経験リスクを最小化することで選択されます。損失関数は J(θ) = ½ Σ_{i=1}^n (h_θ(x^{(i)}) - y^{(i)})^2 です。J の θ に関する勾配をゼロに設定すると正規方程式が得られ、設計行列が特定の条件を満たす場合に閉形式解が得られます。

勾配降下法の基本

勾配降下法は、θ を勾配の逆方向に反復的に更新することで J を最小化するパラメータベクトルを見つけます：θ ← θ - α ∇J(θ)。ステップサイズ α は各更新の移動距離を制御します。α が大きすぎると最小値を通り越して振動を引き起こし、α が小さすぎると収束が遅くなります。講義では、α の選択は実務上の課題であり、適応的最適化手法（例：Adam、Adagrad）が自動的に調整できることが指摘されています。

確率的勾配降下法とミニバッチ

確率的勾配降下法（SGD）は、全バッチ勾配をランダムに選択された訓練例のミニバッチ上で計算された推定値に置き換えます。これにより、1 イテレーションあたりのコストが O(n) から O(バッチサイズ) に削減され、非常に大規模なデータセットでの学習が可能になります。ミニバッチは一様にランダムに抽出され、置換あり・なしのサンプリングは実務上ほぼ同様の挙動を示し、置換なしの方が実装しやすいことが多いです。バッチは全体データを代表する必要があり、そうでなければモデルがサンプルされた部分集合に過剰適合する可能性があります（例：最初に猫だけ、次に犬だけを見る）。バッチサイズはトレードオフがあり、サイズが小さいと勾配がノイズが多くなるが更新頻度が高く、サイズが大きいと勾配の分散が低くなるがメモリと計算コストが増加します。GPU メモリなどシステム上の制約が実務上のバッチサイズ選択を左右することがよくあります。

正規方程式と線形代数

設計行列 X（行が x^{(i)T}）がフル列ランクを持つ場合、X^T X は可逆であり、最小二乗解は θ* = (X^T X)^{-1} X^T y となります。この解は厳密で、反復は不要です。導出は、サンプル数 n が特徴量数 d（切片を含む）以上であることを前提としています。X^T X は半正定値であり、可逆性には正定値であることが必要です。X^T X が特異の場合、解は一意でなく、零空間の任意のベクトルを θ* に加えても損失は変わりません。

実践的なアドバイス

学生はモデリングの前にデータを確認すべきです。視覚的な検査によりパターンやデータ品質の問題が明らかになることがあります。講義ではライブセッション中に質問することや、金曜の TA セッションで記号、微積分、線形代数を復習することが奨励されています。提供されたスライドと講義ノートは推奨リソースであり、共同講師のノートは厳密な学習のための最も充実した参考資料と説明されています。