GPT-2 6개월 후속 보고서

OpenAI는 2019년 2월 124M 모델과 2019년 5월 355M 모델로 시작된 단계적 출시 프로세스에 이어, 774M 파라미터 버전의 GPT-2를 출시했습니다. 이번 출시는 설득력 있는 합성 허위 정보 생성과 같은 오용의 위험과 오픈 리서치의 이점 사이의 균형을 맞추려는 광범위한 노력의 일환입니다.

모델 출시 및 오용에 관한 주요 교훈

OpenAI의 GPT-2 경험은 대규모 생성 모델 배포 시 세 가지 주요 과제를 강조합니다:

1. 조정의 어려움

15억 개 이상의 파라미터를 가진 모델을 훈련할 수 있는 역량을 가진 조직은 여러 곳이지만, 이러한 모델의 공개 출시에는 제한이 있었습니다. OpenAI는 이러한 시스템의 독점적 특성과 조직 간 명확한 통신 채널의 부재로 인해 출판 규범에 관한 조직 간의 조정이 어렵다고 언급합니다.

2. 인간의 합성 텍스트에 대한 취약성

합성 텍스트는 점점 더 인간을 속일 수 있는 능력을 갖추고 있습니다. Cornell University의 연구에 따르면, 테스트 코호트의 72%가 GPT-2 합성 텍스트 샘플을 신뢰할 수 있다고 판단했으며, 이는 실제 New York Times 기사와 83%를 비교했을 때의 수치입니다. 또한, Allen Institute for AI (AI2)와 University of Washington의 연구에 따르면 "GROVER" 시스템은 인간이 작성한 선전 문구보다 더 그럴듯한 뉴스를 생성할 수 있는 것으로 나타났습니다.

3. 텍스트 탐지의 복잡성

AI가 생성한 텍스트를 탐지하는 것은 상당한 기술적 과제입니다. 실제 환경에서 효과적으로 작동하려면 탐지기는 매우 적은 오탐률과 함께 99.9%에서 99.99% 사이의 정확도를 달성해야 합니다. 현재의 ML 기반 방식은 일반적으로 90% 초반에서 중반 정도의 정확도만을 달성하며, 모델이 미세 조정(fine-tuning)될 때 이 정확도는 더욱 감소합니다. OpenAI는 오용을 효과적으로 방지하기 위해 통계적 탐지가 인간의 판단과 메타데이터로 보완되어야 한다고 결론짓습니다.

연구 파트너십 및 안전성 분석

1558M 파라미터의 전체 크기 모델의 잠재적 출시를 위해, OpenAI는 774M 및 1558M 모델을 분석하기 위해 네 곳의 연구 기관과 파트너십을 맺었습니다:

• Cornell University: 디지털 허위 정보에 대한 인간의 취약성을 연구합니다.
• The Middlebury Institute of International Studies (CTEC): 테러리스트 및 극단주의자에 의한 잠재적 오용을 탐구합니다.
• The University of Oregon: 모델 내부의 편향성을 분석하기 위한 "bias probes"를 개발합니다.
• The University of Texas at Austin: 도메인 특화 미세 조정 후 출력물의 통계적 탐지 가능성과 모델 간 탐지 전이성을 연구합니다.

향후 출시 전략

OpenAI의 현재 계획은 몇 달 안에 1558M 파라미터 모델을 출시하는 것이지만, 이 일정은 연구 파트너들의 연구 결과와 774M 모델의 관찰된 사용 사례에 따라 달라질 수 있습니다. OpenAI는 강력한 생성 모델에 내재된 과제가 시간이 지남에 따라 커질 것으로 예상됨에 따라, 책임 있는 AI 출판의 토대로써 단계적 출시와 파트너십 기반의 모델 공유를 결합하는 방식을 advocates (지지합니다).