대규모 언어 모델: 새로운 무어의 법칙인가?

지수적으로 증가하는 대규모 언어 모델(LLM) 크기의 추세는 감소하는 수익, 금지적인 비용, 그리고 상당한 환경적 영향을 초래하고 있습니다. 메가트론-튜링 NLG 530B와 같은 massive 모델은 엔지니어링 역량을 보여주지만, 조 단위 파라미터 모델로의 경로는 실제 비즈니스 애플리케이션에서는 종종 비현실적이며 행성에 지속 불가능합니다.

메가 모델 스케일링의 비용

수백억 개의 파라미터로 모델을 확장하면 극심한 재정 및 환경적 장벽이 발생합니다. "메가 모델" 추구는 알고리즘 효율성보다는 brute-force 엔지니어링에 의존합니다.

재정적 금지성

메가트론-튜링 NLG 530B 규모의 모델을 훈련하려면 massive 인프라가 필요합니다. 약 $199,000씩 하는 수백 대의 DGX A100 멀티-GPU 서버—네트워킹 및 호스팅 비용과 함께—를 사용하면 solchen 실험을 복제하는 데 거의 $100 million이 들 수 있습니다. 매우 wenige 조직만이 그러한 투자를 정당화할 비즈니스 사용 사례를 가지고 있습니다.

환경적 영향

GPU에서 딥 러닝 모델을 훈련하는 것은 에너지 집약적입니다. 단일 DGX 서버는 최대 6.5 킬로와트를 소비할 수 있습니다. 이러한 모델의 탄소 발자국은 상당합니다; 예를 들어, 2019년 매사추세츠 대학교 연구에서는 GPU에서 BERT를 훈련하는 것이 미 대륙 횡단 비행과roughly 동일하다고 지적했습니다. BERT-Large는 오직 340백만 파라미터만을 가지고 있어, 5000억 파라미터 범위의 모델에 대해 더욱 엄청난 발자국을 시사합니다.

massive 모델에 대한 실용적 대안

모델 크기를 쫓는 대신, 개발자는 고품질 머신 러닝 솔루션을 구축하기 위한 효율적이고 실행 가능한 기술에 집중해야 합니다.

사전 훈련된 및 더 작은 모델 활용

대부분의 사용 사례는 맞춤형 모델 아키텍처를 필요로 하지 않습니다. 가장 효율적인 워크플로는 특정 작업(예: 텍스트 요약)에 대한 사전 훈련된 모델을 식별하고 대상 데이터에서 테스트하는 것입니다. 정확성이 부족하면 모델을 파인튜닝해야 합니다.

또한, 실무자는 정확도 요구 사항을 충족하는 가장 작은 모델을 선택하여 더 빠른 예측과 낮은 하드웨어 오버헤드를 보장해야 합니다. 효율성을 추구하는 연구의 예시는 다음과 같습니다:

SqueezeNet: AlexNet 대비 50x 크기 감소를 달성하면서 정확도를 유지하거나 초과함.
DistilBERT: BERT의 언어 이해의 97%를 유지하면서 40% 더 작고 60% 더 빠름.
T0 (Big Science project): 많은 작업에서 GPT-3를 능가하면서 16x 더 작음.

파인튜닝 vs. 스크래치부터 훈련

몇 에포크 동안 특정 데이터셋에 사전 훈련된 모델을 파인튜닝하는 것은 스크래치부터 훈련하는 것보다 훨씬 효율적입니다. 이 전이 학습 접근 방식은 massive 데이터 수집의 필요성을 줄이고, 반복 주기를 가속화하며, 생산 자원 요구 사항을 낮춥니다.

인프라 및 최적화 전략

효율성과 지속 가능성을 극대화하기 위해 조직은 최적화된 인프라와 전문 소프트웨어 도구를 활용해야 합니다.

클라우드 기반 인프라

클라우드 기반 인프라는 일반적으로 온프레미스 대안보다 에너지 및 탄소 효율적입니다. AWS, Azure, Google Cloud와 같은 제공자는 관리형 서비스(예: Amazon SageMaker)를 제공하여 유연성과 종량제 모델을 제공하고, 활용되지 않은 하드웨어로 인한 낭비를 줄입니다.

모델 최적화 기술

크기와 속도를 위한 모델 최적화는 여러 가지 복잡한 기술 전략을 포함합니다:

Specialized Hardware: 훈련 및 추론 속도를 높이기 위해 Graphcore, Habana, Google TPU, 또는 AWS Inferentia 활용.
Pruning: 예측 결과에 거의 영향을 미치지 않는 모델 파라미터 제거.
Fusion: 모델 레이어 병합, 예를 들어 컨볼루션과 활성화 레이어 결합.
Quantization: 모델 파라미터를 더 작은 값에 저장(예: 32-bit 대신 8-bit).

오픈소스 Optimum 라이브러리와 Infinity(1밀리초 지연을 위한 컨테이너화된 솔루션)와 같은 도구는 이러한 최적화 프로세스를 자동화하도록 설계되었습니다.