GPT-2 출시 이력과 AI 공개의 윤리

OpenAI의 초기 GPT-2 공개 보류

2019년 2월, OpenAI는 기술의 악용 가능성에 대한 우려로 인해 GPT-2가 "too dangerous to release"(출시하기에 너무 위험함)라고 선언했습니다. 책임 있는 공개를 위한 실험의 일환으로, 회사는 전체 학습된 모델 대신 기술 논문과 연구자들을 위한 훨씬 작은 규모의 모델 버전만을 처음에 공개했습니다.

기술적 진화: GPT-1 vs. GPT-2

GPT-2는 GPT-1의 직접적인 규모 확장 버전으로, 동일한 transformer decoder architecture를 사용하지만 용량과 데이터가 크게 증가했습니다.

주요 차이점

  • Parameter Count: GPT-2의 가장 큰 모델은 15억 개의 파라미터를 포함하며, 이는 GPT-1의 10배 크기입니다.
  • Training Data: GPT-2는 40GB의 웹 텍스트로 학습되어, 더 넓은 언어 지식과 이해력을 습득할 수 있었습니다.
  • Model Configuration: 1.5B 파라미터 버전은 48개의 decoder blocks로 구성되며, model dimension (d_model)은 1600입니다. 이는 기존 transformer의 6개 decoder blocks와 512 embedding dimension과 비교됩니다.

사전 학습(Pre-training)의 역할

GPT-1 논문에서 제시된 연구 결과에 따르면, 사전 학습된 모델은 지도 학습 기반의 미세 조정(supervised fine-tuning) 없이도 특정 작업을 수행하는 데 필요한 정보를 포함하고 있었습니다. 이는 사전 학습이 모델 능력의 주요 동력이며, 미세 조정은 특정 작업을 위한 최종 최적화 역할을 한다는 것을 입증했습니다.

1.5B 파라미터 모델 출시 및 발견 사항

초기 발표 이후 9개월이 지난 후, OpenAI는 1.5B 파라미터 모델과 코드 및 가중치(weights)를 함께 공개했습니다. 이 출시는 책임 있는 출판의 어려움에 대한 통찰력을 OpenAI에 제공한 관찰 기간을 거친 후에 이루어졌습니다.

OpenAI는 이 기간 동안의 5가지 주요 발견 사항을 요약했습니다:

  1. 인간은 GPT-2의 출력을 설득력 있게 느낍니다.
  2. 모델은 오용될 수 있도록 미세 조정될 수 있습니다.
  3. AI가 생성한 텍스트를 탐지하는 것은 어렵습니다 (비록 RoBERTa가 GPT-2 텍스트에 대해 약 95%의 탐지율을 달성했음에도 불구하고).
  4. 초기 공개 보류 기간 동안 광범위한 오용의 강력한 증거는 발견되지 않았습니다.
  5. 편향성을 연구하기 위한 표준이 절실히 필요합니다.

회고적 분석 및 사회적 영향

ChatGPT와 같은 후속 모델의 관점에서 되돌아보면, GPT-2를 둘러싼 초기 주의 조치는 해석이 다양합니다. 어떤 이들은 초기 제한이 필요한 안전 예방 조치였다고 보는 반면, 다른 이들은 이 조치가 모델의 성능을 홍보하기 위한 마케팅 전략이었다고 특징짓습니다.

AI 안전성에 대한 커뮤니티의 관점

기술 관찰자들 사이의 논의는 "too dangerous to release"라는 주장이 정당했는지에 대해 깊은 의견 차이를 보여줍니다:

"지나고 보면, 그들은 전적으로 옳았습니다. 인간의 저작물과 구별하기 어려운 저비용 콘텐츠 생성 기술이 초래할 사회적 피해는 천문학적입니다."

"2019년 당시에는 강력한 텍스트 생성... 능력이 완전히 미지의 영역이었기에, 더 큰 GPT-2 모델에 대해 주의를 기울이는 것이 더 공정했습니다. [후속 모델들]의 경우에는... 이를... 마케팅 기믹(marketing gimmick)이라고 부르는 것이 더 적절합니다."

장기적 결과

비판론자들은 이러한 모델들의 출시가 다음과 같은 시스템적 문제를 야기했다고 주장합니다:

  • Academic Integrity: 학생들의 숙제 및 인터뷰에서의 부정행위 등 AI의 광범위한 사용.
  • Content Quality: TikTok, Instagram, YouTube와 같은 소셜 미디어 플랫폼 전반에 걸친 "slop"(저품질 AI 생성 콘텐츠)의 증가.
  • Economic Shifts: AI 인프라 규모로 인한 RAM, GPUs, 그리고 디스크 저장 장치의 수요 및 가격 상승.
  • Information Integrity: 대량의 AI 생성 이메일 및 허위 정보의 확산.

Sources