斯坦福 CS229 機器學習 2026 春季 第 1 講 課程介紹
課程概覽與理念
斯坦福 CS229 是一門數學密集的課程，重點在於機器學習的基礎而非程式設計。課程強調數學建模、公式化與推導，以確保學生了解演算法與程式碼背後的機制。
先決條件與支援
順利完成本課程需要具備機率與線性代數的背景。對於缺乏特定基礎的學生，課程會透過小組討論與週五助教講座提供支援，協助他們補足基礎知識。
AI 工具政策
AI 工具被允許作為「人類或超人類協作者」使用，但有嚴格限制：學生不得直接將 AI 工具的結果複製到作業中。此政策旨在確保學生「訓練」自己的大腦與突觸，而不是僅僅建立一個代理人來理解教材。
定義機器學習
儘管該領域快速演變，傳統的機器學習定義仍然基本正確。課程引用了兩個關鍵的歷史定義：
- 1959 定義： 機器學習是一門讓電腦在未被明確編程的情況下學習的研究領域。
- 1998（Tom Mitchell）定義： 若電腦程式在某類任務 (T) 與績效衡量指標 (P) 下，隨著經驗 (E) 的累積，其在 T 中的表現（以 P 衡量）有所提升，則稱該程式從經驗 (E) 中學習。
組件的現代詮釋
- 經驗 (E)： 現在涵蓋更廣泛的資料，包括合成資料、思考代幣、網路資料以及人工標記資料。
- 任務 (T)： 雖然過去的任務往往具體（例如影像分類或價格預測），但現代模型是通用的，能同時解決數百萬個任務。
- 績效衡量指標 (P)： 這仍是驅動學習過程的目標（例如準確率）。學習被定義為隨著 E 增加，P 的提升。
機器學習技術的分類
儘管該領域發展迅速，尚未形成統一的分類共識，課程將機器學習劃分為三大主要範式，這些範式常被用作構建通用代理人的工具。
監督式學習
監督式學習利用標記資料，從輸入 (X) 預測輸出 (Y)。
- 迴歸： 輸出為連續變數時（例如根據建築面積預測房價）。
- 分類： 輸出為離散變數或標籤時（例如辨識影像中是火烈鳥還是貓）。
大型語言模型（LLM）本質上是分類問題，因為預測下一個代幣等同於從 5 萬至 25 萬個詞彙中選擇一個離散標籤。
非監督式學習
非監督式學習旨在於只有輸入而無標籤的資料中發掘有趣的結構或模式。
- 聚類： 將相似資料點分組（例如將基因表達分組以辨識疾病，或依主題聚類文件）。
- 嵌入： 將詞彙或概念表示為高維向量，距離與方向對應語義關係（例如首都與其國家的向量關係）。
- 生成模型： 利用未標記資料產生新的、逼真的內容，例如用於影像生成的擴散模型。
強化學習 (RL)
強化學習聚焦於序列決策，行動會影響未來狀態。
- 傳統強化學習： 用於機器人（學習行走）或遊戲（AlphaGo），代理人透過試誤學習。
- LLM 的現代強化學習： 用於處理文字生成過程中的隨機抽樣。由於抽樣不是可微分操作，會使用如策略梯度等 RL 技術，根據獎勵（人工回饋或獎勵模型）更新模型。
- 自舉（Bootstrapping）： 強化學習允許互動式資料收集。例如在自動定理證明中，模型產生證明，正確的證明會被驗證後重新加入訓練集，形成自我改進的迴路。
其他課程主題
除了核心範式外，課程還將涵蓋：
- 深度學習： 使用擁有數百萬或數十億參數的神經網路模擬類腦突觸，透過損失函數與反向傳播進行訓練。
- 機器學習系統： 軟硬體交叉以優化效能。即使提升演算法速度 20%，也能為前沿實驗室帶來巨大的成本節省與更快的開發週期。
- 社會影響： 計畫探討 AI 的公平性與社會後果，包括對就業市場的影響。
SUMMARY: 馬騰宇教授介紹了 CS229 課程，將機器學習定位為一門數學密集的基礎研究，儘管從特定任務導向的流水線轉向通用的大型語言模型，該領域仍然保持其相關性。
TITLE: 斯坦福 CS229 機器學習 2026 春季 第 1 講 課程介紹