Stanford CS229 機械学習 Spring 2026 講義 1 導入

コース概要と哲学

Stanford CS229は、プログラミングよりも機械学習の基礎に焦点を当てた、数学的に厳しいコースです。カリキュラムは、アルゴリズムとコードの裏側の仕組みを学生が理解できるように、数学的モデリング、定式化、導出を強調します。

前提条件とサポート

このコースを無事に修了するには、確率と線形代数のバックグラウンドが必要です。特定の基礎知識が不足している学生のために、このコースはセクションと金曜日のTA講義を通じてサポートを提供し、基礎を補う手助けをします。

AIツールポリシー

AIツールは「人間または超人間の共同作業者」として許可されていますが、厳しい制限があります：学生はAIツールの結果を直接提出物にコピーすることはできません。このポリシーは、学生が単にエージェントを構築して教材を理解するのではなく、自分の脳とシナプスを「訓練」することを確保するために設計されています。

機械学習の定義

分野の急速な進化にもかかわらず、機械学習の伝統的な定義は根本的に正確です。このコースでは、2つの重要な歴史的定義を参照しています：

  • 1959年の定義: 機械学習は、コンピュータに明示的にプログラミングされなくても学習する能力を与える研究分野です。
  • 1998年（Tom Mitchell）の定義: コンピュータプログラムは、あるタスクのクラス(T)と性能指標(P)に関する経験(E)から学習すると言われます。これは、その性能がPで測定されたタスクTにおける性能が、経験Eとともに向上する場合を指します。

コンポーネントの現代的解釈

  • 経験 (E): 現在では、合成データ、思考トークン、ウェブデータ、人間がラベル付けしたデータなど、より広範なデータを含むようになりました。
  • タスク (T): タスクはかつて特定的でした（例えば、画像分類や価格予測）が、現代のモデルは汎用的であり、同時に何百万ものタスクを解くことができます。
  • 性能指標 (P): これは学習プロセスを駆動する目標（例えば、精度）のままです。学習は、Eが増加するに従ってPが改善されることによって定義されます。

機械学習技術の分類

分野が普遍的な分類の合意を得るほど速く変化しているため、このコースでは機械学習を3つの主要なパラダイムに整理しています。これらは、汎用エージェントを構築するためのツールとしてしばしば使用されます。

教師あり学習

教師あり学習は、ラベル付きデータを使用して入力(X)から出力(Y)を予測することを含みます。

  • 回帰: 出力が連続変数である場合（例えば、床面積に基づいて家の価格を予測する場合）。
  • 分類: 出力が離散変数またはタグである場合（例えば、画像にフラミンゴまたは猫が含まれているかを識別する場合）。

大規模言語モデル（LLM）は根本的に分類問題であり、次のトークンを予測することは、50,000から250,000の語彙から1つの離散ラベルを選択することを含むからです。

教師なし学習

教師なし学習は、ラベルがない入力データの中で興味深い構造やパターンを見つけ出そうとします。

  • クラスタリング: 類似したデータポイントをグループ化すること（例えば、病気を特定するために遺伝子発現をグループ化したり、トピックによって文書をクラスタリングしたりすること）。
  • 埋め込み: 語や概念を、距離と方向が意味的関係に対応する高次元ベクトルとして表現すること（例えば、首都とその国の間のベクトル関係）。
  • 生成モデル: ラベルのないデータを使用して、画像生成のための拡散モデルなどの新しい現実的なコンテンツを作成すること。

強化学習 (RL)

強化学習は、行動が将来の状態に影響を与える順次的な意思決定に焦点を当てています。

  • 伝統的なRL: ロボット工学（歩行の学習）やゲーム（AlphaGo）で使用され、エージェントは試行錯誤を通じて学習します。
  • LLM向けの現代的RL: テキスト生成中の確率的サンプリングを扱うために使用されます。サンプリングは微分可能な操作ではないため、ポリシー勾配などのRL技術が、報酬（人間のフィードバックまたは報酬モデル）に基づいてモデルを更新するために使用されます。
  • ブートストラッピング: RLはインタラクティブなデータ収集を可能にします。例えば、自動定理証明では、モデルが証明を生成し、正しいものは検証されてトレーニングセットに戻され、自己改善のループが生成されます。

その他のコーストピック

コアパラダイムを超えて、このコースでは以下のトピックを扱います：

  • ディープラーニング: 数百万または数十億のパラメータを持つニューラルネットワークを使用して、脳のようなシナプスをシミュレートし、損失関数と逆伝播を介して訓練します。
  • MLシステム: ソフトウェアとハードウェアの交差点において効率を最適化します。アルゴリズムの速度をわずか20%でも向上させると、先端研究所において巨大なコスト削減と開発サイクルの高速化につながる可能性があります。
  • 社会的影響: AIの公平性と社会的影響、特に雇用市場への影響を含む、計画された探求。

Sources