OpenAI 신경망 언어 모델을 위한 스케일링 법칙
OpenAI는 신경망 언어 모델의 성능을 지배하는 경험적 스케일링 법칙(scaling laws)을 확인했습니다. 이 법칙들은 교차 엔트로피 손실(cross-entropy loss)이 세 가지 주요 변수, 즉 모델 파라미터 수, 훈련 데이터셋 크기, 그리고 훈련에 사용된 총 컴퓨팅 양에 대해 멱법칙(power-law)에 따라 스케일링된다는 것을 보여줍니다.
Predictable Performance Scaling
교차 엔트로피 손실로 측정되는 언어 모델의 성능은 모델 크기, 데이터셋 크기, 컴퓨팅 양이 증가함에 따라 예측 가능한 방식으로 향상됩니다. 이러한 멱법칙 추세는 7자릿수 이상의 범위에서 일관되게 유지됩니다.
이러한 성능의 주요 동력은 매우 중요하지만, 특정 네트워크 너비나 깊이와 같은 다른 아키텍처 선택은 넓은 구성 범위 내에서 성능에 미미한 영향을 미칩니다.
Resource Allocation and Compute Efficiency
고정된 컴퓨팅 예산 내에서 성능을 극대화하기 위한 최적의 할당량을 결정하는 데 간단한 방정식을 사용할 수 있습니다. 이 최적화 프로세스는 두 가지 핵심 의존성에 기반합니다:
- Overfitting: 데이터셋 대비 모델 크기와 과적합(overfitting) 사이의 관계.
- Training Speed: 훈련 속도와 모델 크기 사이의 관계.
Sample Efficiency in Large Models
더 큰 모델은 더 작은 모델보다 훨씬 더 높은 샘플 효율성을 가집니다. 이러한 효율성 덕분에, 모델을 훈련하는 가장 컴퓨팅 효율적인 방법은 상대적으로 적은 양의 데이터로 훈련된 매우 큰 모델을 사용하는 것입니다. 최대 효율을 달성하기 위해서는 모델이 완전한 수렴에 도달하기 훨씬 전에 훈련을 중단해야 합니다.