CS229 第三講：加權最小平方法 (2026年春季)

最小平方法的概率詮釋

最小平方解可以在高斯噪聲模型下被推導為最大似然估計。假設每個標籤 y_i 等於 theta 轉置 x_i 加上誤差 epsilon_i，其中 epsilon_i 是獨立且同分布的常態隨機變數，均值為零，變異數為 sigma squared。給定 theta 的觀測數據的似然是每個 epsilon_i 的高斯密度的乘積。取對數將乘積轉為求和，並移除不依賴於 theta 的常數，得到與殘差平方和成正比的負對數似然。因此，最大化似然相當於最小化最小平方損失。

最大似然原理

最大似然框架包含三個步驟：定義一個概率模型來描述標籤如何從輸入和參數產生；將觀測資料集的似然寫為參數的函數；選擇使此似然最大化（等價於最小化負對數似然）的參數設定。此原則具有普遍性；它不依賴於特定的分布假設，並且可以重複用於其他模型，例如 logistic regression。

從迴歸到分類：Logistic 迴歸

對於標籤 y_i 為零或一的二元分類問題，直接應用最小平方法會導致決策邊界不佳，因為該方法試圖將連續值擬合到離散結果。相反地，我們將 y_i 等於一的概率建模為線性得分 theta 轉置 x_i 經過 sigmoid 連結函數 G(z) = 1/(1+exp(-z)) 的函數。在此伯努利模型下，單一觀測的似然為 h_theta(x_i)^{y_i} (1‑h_theta(x_i))^{1‑y_i}。資料集的對數似然是項 y_i log h_theta(x_i) + (1‑y_i) log(1‑h_theta(x_i)) 的總和。最大化此對數似然（或最小化其負值）得到 logistic regression 的目標函數。得到的優化問題是凸的，可使用一階方法求解，例如梯度下降或隨機梯度下降。

優化：梯度下降 vs 牛頓法

梯度下降（包括其隨機變體）會沿著目標函數梯度的相反方向移動一小步來更新 theta；每次迭代的成本為 O(ND)，其中 N 是資料點數量，D 是特徵數量。牛頓法利用二階資訊，通過求解涉及二階導數的海森矩陣的線性系統來更新 theta。當它收斂時，牛頓法每次迭代可以取得更快的進展，常常在單一步驟中獲得許多位數的精度。然而，每次牛頓步驟需要形成並逆轉海森矩陣，成本為 O(ND^2 + D^3) 次運算，當 N 和 D 很大時會變得難以承受。因此，在大規模機器學習環境中，儘管隨機梯度下降每次迭代的收斂較慢，但仍是較優選擇；而在特徵維度適中的經典統計問題中，牛頓法仍然很有用。