스탠퍼드 CS229 머신러닝 2026년 봄 강의 12: 표현 학습

확산 모델 훈련 및 손실 함수

확산 모델은 순방향 노이즈 과정을 역으로 학습하여 훈련됩니다. 목표는 노이즈로부터 깨끗한 이미지를 재구성할 수 있는 역 분포 $p_ heta(x_{t-1} | x_t)$를 매개변수화하는 것입니다.

손실 함수

확산 모델을 훈련하는 형식적인 목적은 데이터의 로그 우도를 최대화하는 것이며, 이는 증거 하한(ELBO)으로 이어집니다. 이는 $t=1$부터 $T$까지의 항 $L_{t-1}$의 시퀀스로 단순화됩니다.

실무에서는 ELBO에서 유도된 복잡한 계수가 종종 버려집니다. 훈련 목적은 원래 데이터 $x_0$가 주어졌을 때 역 과정의 실제 평균과 예측 평균 $\mu_\theta(x_t, t)$ 사이의 제곱 차이의 합을 최소화하는 것으로 변합니다:

$$ \text{Loss} = \mathbb{E} [\mu_{\tilde{t}}(x_t, x_0) - \mu_\theta(x_t, t)]^2 $$

노이즈 예측 재매개변수화

평균 $\mu_\theta$를 직접 예측하는 대신, 전문가들은 일반적으로 네트워크를 재매개변수화하여 원본 이미지 $x_0$에 추가된 노이즈 $\epsilon$를 예측하도록 하여 노이즈가 있는 이미지 $x_t$를 생성합니다.

$x_t$, $x_0$, 그리고 노이즈 $\epsilon$ 사이의 알려진 선형 관계를 하드코딩함으로써 손실 함수는 노이즈 예측 문제로 단순화됩니다:

$$ \text{Loss} = \mathbb{E} [\epsilon - \epsilon_\theta(x_t, t)]^2 $$

이는 생성 작업을 더 작고 지역적으로 쉬운 재구성 단계의 시리즈로 변환합니다. 모델은 순수한 흰색 노이즈로 시작하여 이미지를 점차 선명하게 만들고 각 단계에서 세부 사항을 추가합니다.

기초 모델 패러다임

기초 모델은 작업별 훈련에서 사전 훈련과 적응이라는 두 단계 패러다임으로의 머신러닝의 전환을 나타냅니다.

사전 훈련

사전 훈련은 massive하고 다양한, 종종 레이블이 없는 데이터셋에서 모델을 훈련하는 것을 포함합니다. 초점은 엄격한 데이터 품질보다는 규모와 다양성에 있습니다. 이 단계는 데이터를 포괄적인 의미 정보를 포착하는 범용 모델인 'foundation'을 만듭니다.

적응

적응은 사전 훈련된 기초 모델을 특정 다운스트림 작업에 맞게 조정하는 과정입니다. 이는 여러 설정에서 발생할 수 있습니다:

제로샷 학습: 모델은 작업별 훈련 데이터 없이 설명에 기반하여 작업을 해결합니다.
소수샷 학습: 모델은 매우 작은 레이블이 있는 데이터셋(예: 5-10개의 예)을 사용하여 적응됩니다.
미세 조정: 모델은 특정 작업을 위한 더 큰 레이블이 있는 데이터셋을 사용하여 업데이트됩니다.

표현 학습 및 적응 기술

표현 학습은 원시 데이터 $x$를 낮은 차원의 벡터(임베딩 또는 특성)로 매핑하는 모델 $f_\theta$를 훈련하는 데 중점을 둡니다. 이 표현은その後 다운스트림 작업을 해결하는 데 사용됩니다.

선형 탐사

선형 탐사는 표현 모델 $f_\theta$를 동결한 상태에서 고정된 임베딩 위에 간단한 선형 헤드(가중치 벡터 $w$)를 훈련하여 목표 $y$를 예측하는 기술입니다. 이는 사전 훈련된 표현이 원시 데이터의 비선형 관계를 임베딩 공간에서의 선형 관계로 자주 변환하기 때문에 매우 효과적입니다.

미세 조정 및 LPFT

전체 미세 조정에서는 선형 헤드 $w$와 표현 매개변수 $\theta$가 모두 최적화됩니다. 손실 함수는 선형 탐사와 동일할 수 있지만, 사전 훈련된 모델로 $\theta$를 초기화하면 스크래치에서 훈련하는 것보다 더 나은 전역 최소값과 우수한 테스트 성능을 일반적으로 이끌어냅니다.

**LPFT (선형 탐사 후 미세 조정)**는 먼저 선형 탐사(단순히 $w$만 최적화)를 통해 모델을 훈련하여 헤드와 표현 사이의 안정적인 연결을 확립하는 하이브리드 접근 방식입니다. 이후에 $w$와 $\theta$를 공동으로 최적화합니다. 이는 미세 조정의 초기 단계에서 선형 헤드의 무작위 초기화가 사전 훈련된 표현을 '파괴'하는 것을 방지합니다.

저순위 적응 (LoRA)

LoRA는 대형 모델의 수십억 개의 매개변수를 모두 업데이트하는 것을 피하는 효율적인 적응 방법입니다. 가중치 행렬 $W$를 $W + \Delta W$로 업데이트하는 대신, LoRA는 업데이트 $\Delta W$를 저순위 분해 $\Delta W = AB$로 제한합니다. 여기서 $A$와 $B$는 훨씬 작은 내부 차원 $r$을 가진 행렬입니다.

LoRA의 장점

메모리 효율성: 순전파는 여전히 원래의 동결된 가중치 $W_0$가 필요하지만, LoRA는 경사와 옵티마이저 상태(Adam의 모멘텀 등)에 필요한 메모리를 크게 줄입니다. 이는 작은 행렬 $A$와 $B$에만 저장되기 때문입니다.
멀티테넌트 서비스: LoRA는 많은 사용자에게 서비스를 제공하는 데 이상적입니다. 단일 공유된 $W_0$는 메모리에 유지될 수 있으며, 사용자별 소형 어댑터($A_i, B_i$)는 빠르게 교체될 수 있습니다. 이를 통해 제공자는巨大한 기본 모델을 각 사용자마다 복제하지 않고도 수천 개의 맞춤형 모델을 제공할 수 있습니다.