스탠포드 CS229 2026年春 7강: 신경망 1 (아키텍처)

Introduction

이 강의는 딥러닝에 대한 소개 역할을 하며, 회귀 및 분류와 같은 지도 학습 작업에 대한 구조화된 비선형 모델로서 신경망에 중점을 둡니다.

Framework for Supervised Learning

비선형 모델에 대해서도 지도 학습 프레임워크는 동일하게 유지됩니다: 각 예시에 대한 손실 함수를 정의하고, 데이터셋에 대해 평균을 낸 후, 모델 매개변수에 대해 결과 목적 함수를 최소화합니다.

Loss Functions

회귀의 경우 손실은 제곱 오차 (y_i − h_θ(x_i))²이며, 이는 가우도 likelihood에서 유도할 수 있습니다. 다중 클래스 분류의 경우 모델은 h_θ̄(x)를 통해 로짓을 출력하고, 손실은 교차 엔트로피 손실 −log(exp(h_θ̄(x)_y) / Σ_j exp(h_θ̄(x)_j))입니다.

Optimization via Gradient Descent

손실을 최소화하기 위해 경사 하강법은 θ ← θ − η ∇J(θ)로 업데이트합니다. 전체 기울기를 계산하는 것은 비용이 많이 들므로, 확률적 경사 하강법(SGD)은 단일 예시 또는 미니배치를 샘플링하여 기울기의 편향되지 않은 추정치를 얻습니다. SGD의 노이는 비볼록 환경에서 날카로운 최소점을 벗어나는 데 도움이 될 수 있지만, 이론은 제한적입니다.

Neural Network Building Blocks

뉴런은 선형 변환을 적용한 후 비선형 활성화 함수를 적용합니다. 정류 선형 단위(ReLU)는 ReLU(t) = max(t, 0)로 정의되며, 양수 입력에 대해 선형성을 유지하고 음수 입력을 0으로 만든다는 이유로 널리 사용됩니다. 시그모이드, 탠하, 누수 ReLU와 같은 다른 활성화 함수는 대안으로 언급됩니다.

Multilayer Networks and Notation

선형-활성화 쌍을 쌓으면 다층 퍼셉트론(MLP)이 됩니다. 행렬 형태에서 한 층은 a = ReLU(Wx + b)를 계산하며, 이후 층들은 자신의 가중치 행렬과 편향 벡터를 사용하여 동일한 작업을 반복합니다. 전체 층 수는 활성화 함수 적용 횟수와 같습니다. 매개변수는 모든 W와 b 행렬의 집합입니다.

Residual Networks

잔차(스킵) 연결은 층의 입력을 출력에 더합니다: Z ← σ(W₂σ(W₁Z + b₁) + b₂) + Z. 이 공식화는 네트워크가 잔차 업데이트를 학습하도록 장려하고, 최적화를 용이하게 하며, 2015년 ResNet 논문에서 널리 알려졌습니다.

Layer Normalization

LayerNorm은 특성 벡터 z의 평균을 빼고 표준편차로 나눈 후, 학습 가능한 매개변수 γ와 β로 스케일링 및 시프트합니다: y = γ ⊙ (z − μ)/σ + β. RMSNorm과 같은 변형은 평균 빼기를 생략합니다. 정규화는 층의 출력이 입력의 규모에 무감각하도록 만들어 학습을 안정화시킵니다.

Convolutional Networks (Brief)

컨볼루션 층은 밀집 행렬 곱셈을 공간 위치 간 가중치를 공유하는 희소하고 구조화된 행렬로 대체하여, 이미지와 같은 격자 구조 데이터의 효율적인 처리를 가능하게 합니다. 강의 노트는 이 주제를 다루지만, 트랜스포머를 선호하는 현대 비전 모델에서는 덜 자주 사용됩니다.