OpenAI AI 및 컴퓨팅 분석

AI 컴퓨팅의 지수적 성장

2012년 이후, 가장 큰 AI 훈련 실행에 사용된 컴퓨팅 양은 지수적으로 증가했으며, 3.4개월마다 두 배가 되었습니다. 이 성장률은 역사적으로 약 2년의 두 배 주기를 가진 모어의 법칙을 크게 초과합니다. 2012년 이후 이 지표는 300,000배 이상 증가했으며, 모어의 법칙에 따른 두 배 주기라면 단지 7배 증가에 불과했을 것입니다.

OpenAI는 컴퓨팅 향상이 AI 발전의 핵심 요소였다고 언급하며, 업계가 현재보다 훨씬 뛰어난 능력을 가진 시스템의 영향을 대비해야 한다고 제안합니다.

AI 컴퓨팅의 역사적 시대

1959년부터 2012년까지의 데이터를 분석한 결과, AI 훈련 컴퓨팅 사용에 두 개의 뚜렷한 시대가 나타났습니다:

첫 번째 시대 (1959–2012): AI 결과는 대략 모어의 법칙 성장과 일치했습니다.
현대 시대 (2012–현재): AI 훈련 컴퓨팅은 하드웨어 성장의 거시적 추세를 크게 앞섰습니다.

특히, 컴퓨팅 사용 추세는 "AI 겨울"이나 흥분의 시기와 관계없이 일관되게 유지되었습니다. 이는 투자와 과대광고의 사이클이 지난 반세기 동안 학습 시스템을 훈련하는 실제 컴퓨팅 파워에 거의 영향을 미치지 않았음을 시사합니다.

컴퓨팅 추정 방법론

OpenAI는 잘 알려진 AI 결과를 훈련하는 데 사용된 총 컴퓨팅을 petaflop/s-days(pfs-days) 단위로 추정하기 위해 두 가지 주요 방법론을 활용했습니다.

방법 1: 연산 수 계산

이 방법은 설명된 아키텍처에서 훈련 샘플당 부동소수점 연산(FLOP) — 구체적으로는 덧셈과 곱셈 — 의 수를 직접 계산한 뒤, 훈련 중 전체 전방 및 역방향 패스 횟수와 곱하는 것을 포함합니다. 이 접근법은 아키텍처와 훈련 세부 사항이 완전히 공개된 경우에 사용됩니다.

방법 2: GPU 훈련 시간

직접적인 연산 수가 제공되지 않을 경우, OpenAI는 사용된 GPU 수, 훈련 기간, 그리고 가정된 활용 효율성을 기반으로 컴퓨팅을 추정합니다. 표준 가정은 다음과 같습니다:

GPU 활용도: 33% (0.33)
CPU 활용도: 17% (0.17)

OpenAI는 이러한 계산이 정확성을 목표로 하는 것이 아니라, 2–3배 정도의 오차 범위 내에서 대략적인 규모를 파악하는 데 목적이 있다고 밝혔습니다.

주목할 만한 AI 결과의 컴퓨팅 요구량

대규모 컴퓨팅이 모든 중요한 돌파구에 필수적인 것은 아니지만, OpenAI는 적은 양의 컴퓨팅으로 달성된 몇몇 주목할 만한 결과들을 식별했습니다:

Attention is all you need (Transformer): 0.089 pfs-days
Adam Optimizer: < 0.0007 pfs-days
Learning to Align and Translate: 0.018 pfs-days
GANs: < 0.006 pfs-days
Word2Vec: < 0.00045 pfs-days
Variational Auto Encoders: < 0.0000055 pfs-days

SUMMARY: OpenAI 분석에 따르면, 가장 큰 AI 훈련 실행에 사용된 컴퓨팅이 2012년 이후 지수적으로 증가했으며, 3.4개월마다 두 배가 되어 모어의 법칙을 크게 앞서고 있습니다.

TITLE: OpenAI AI 및 컴퓨팅 분석