CS229 第3讲：加权最小二乘（2026年春季）

最小二乘的概率解释

最小二乘解可以在高斯噪声模型下被推导为最大似然估计。假设每个标签 y_i 等于 theta 转置 x_i 加上一个误差 epsilon_i，其中 epsilon_i 是独立同分布的均值为零、方差为 sigma 平方的正态随机变量。给定 theta 时，观测数据的似然是每个 epsilon_i 的高斯密度的乘积。取对数将乘积转化为求和，去除与 theta 无关的常数后得到与平方残差之和成正比的负对数似然。因此，最大化似然相当于最小化最小二乘损失。

最大似然原理

最大似然框架包含三个步骤：定义一个概率模型来说明标签如何从输入和参数生成；将观测数据集的似然写为参数的函数；选择使该似然最大化（等价于最小化负对数似然）的参数设置。此原则是通用的；它不依赖于特定的分布假设，可用于其他模型，如逻辑回归。

从回归到分类：逻辑回归

对于标签 y_i 为零或一的二分类问题，直接使用最小二乘会导致决策边界较差，因为该方法试图将连续值拟合到离散结果上。相反，将 y_i 等于一的概率建模为线性得分 theta 转置 x_i 通过 sigmoid 链接函数 G(z) = 1/(1+exp(-z)) 后的函数。在此伯努利模型下，单个观测的似然为 h_theta(x_i)^{y_i} (1‑h_theta(x_i))^{1‑y_i}。数据集上的对数似然是各项 y_i log h_theta(x_i) + (1‑y_i) log(1‑h_theta(x_i)) 的和。最大化此对数似然（或最小化其负值）得到逻辑回归的目标。得到的优化问题是凸的，可使用一阶方法求解，如梯度下降或随机梯度下降。

优化：梯度下降 vs 牛顿法

梯度下降（包括其随机变体）通过沿目标函数梯度相反方向迈出小步来更新 theta；每次迭代的代价为 O(ND)，其中 N 为数据点数量，D 为特征数量。牛顿法使用二阶信息，通过求解涉及二阶导数的海森矩阵的线性系统来更新 theta。当它收敛时，牛顿法每次迭代可以取得更快的进展，常常在一步内获得许多位的精度。然而每次牛顿步骤需要形成并求逆海森矩阵，代价为 O(ND^2 + D^3) 次运算，当 N 和 D 很大时会变得不可行。因此，在大规模机器学习场景中，尽管其每次迭代收敛较慢，随机梯度下降更受青睐；而在特征维度适中的经典统计问题中，牛顿法仍然有用。