AGI와 그 너머를 위한 OpenAI 계획

OpenAI는 점진적인 배포와 반복 학습 전략을 통해 인공 일반 지능(AGI)을 안전하게 구현하려고 합니다. 이 접근 방식은 갑작스러운 전환으로 인한 충격을 방지하고, 정책 입안자, 기관, 일반 대중이 강력한 AI가 초래하는 경제적·사회적 변화를 적응할 수 있도록 설계되었습니다.

점진적 배포와 반복 학습

OpenAI는 급격한 전환보다 점진적인 AGI 전환을 옹호합니다. 이 점진적 접근은 사회가 AI의 장점과 단점을 이해하고, 경제를 조정하며, 적절한 규제를 구현할 시간을 제공합니다.

배포 전략의 핵심 측면은 다음과 같습니다:

  • 빠른 피드백 루프: OpenAI는 편향 및 일자리 대체와 같은 배포 과제를 해결하는 최선의 방법은 빠른 학습과 신중한 반복을 통한 긴밀한 피드백 루프라고 믿습니다.
  • 민주화된 접근: 조직은 API와 오픈소스를 통해 AI 사용을 확대하여 권력을 분산시키고 더 많은 기여자들이 새로운 아이디어를 제공하도록 장려합니다.
  • 위험 기반 신중함: 시스템이 AGI에 접근함에 따라 OpenAI는 신중함을 높이고 있습니다. 조직은 AGI와 그 후속 시스템의 위험이 존재적일 수 있다는 가정 하에 운영됩니다.
  • 배포 임계값: OpenAI는 악의적인 행위자에게 권한을 부여하거나 안전하지 않은 경쟁을 가속화하는 등 부정적인 요인으로 균형이 이동하면 지속적인 배포 계획을 크게 변경할 수 있다고 밝힙니다.

정렬 및 조정 가능성

OpenAI는 원래 GPT-3에서 InstructGPT 및 ChatGPT로의 전환을 초기 사례로 삼아, 점점 더 정렬되고 조정 가능한 모델을 만드는 데 집중하고 있습니다.

안전과 통제를 보장하기 위해 OpenAI는 다음을 구현하고 있습니다:

  • 사용자 재량 및 한계: 조직은 AI 사용에 대한 광범위한 한계에 대한 전 세계적인 합의를 추구하면서도, 그 한계 내에서 사용자에게 상당한 재량을 제공하려 합니다. 제품은 제한된 "기본 설정"을 가질 가능성이 높지만, 사용자는 AI 행동을 변경할 수 있습니다.
  • 고급 정렬 기법: OpenAI는 단기적으로 복잡한 모델 출력 평가와 시스템 모니터링을 돕기 위해 AI를 활용하고, 궁극적으로 새로운 정렬 기법을 개발하기 위해 AI를 사용할 계획입니다.
  • 안전성과 역량의 공동 진화: OpenAI는 AI 안전성과 역량이 별개의 이분법이 아니라 상호 연관되어 있다고 주장합니다. 최고의 안전 작업은 종종 가장 강력한 모델과 함께 작업함으로써 이루어지기 때문입니다. 그러나 조직은 안전 진보와 역량 진보의 비율이 증가해야 한다고 강조합니다.

거버넌스 및 글로벌 협력

OpenAI는 AI 시스템의 거버넌스, 이익의 공정한 분배, 접근의 공정한 공유에 관한 글로벌 대화를 촉진하려 합니다.

긍정적인 결과와 인센티브를 맞추기 위해 OpenAI는 여러 구조적 조치를 시행했습니다:

  • 헌장 약속: OpenAI 헌장의 조항은 조직이 후기 단계 AGI 개발을 향한 경쟁보다 안전 중심 조직을 지원하도록 약속합니다.
  • 수익 상한: 주주 수익에 상한을 두어 무제한 가치를 추구하는 인센티브를 방지하고, 이는 재앙적인 위험 시스템 배포 위험을 초래할 수 있습니다.
  • 비영리 거버넌스: 비영리 단체가 OpenAI를 관리함으로써 영리 목적보다 인류의 이익을 우선시할 수 있으며, 안전상의 이유로 주주에 대한 지분 의무를 취소할 가능성도 포함됩니다.

독립적인 감독 및 공공 표준

OpenAI는 새로운 시스템 출시 전에 독립적인 감사를 시행하는 것을 지지합니다. 조직은 미래 시스템에 대한 훈련이 시작되기 전에 독립적인 검토가 필요할 수 있으며, 고급 노력은 새로운 모델에 대한 컴퓨팅 성장률을 제한하는 데 동의해야 할 수도 있다고 제안합니다.

제안된 공공 표준은 다음을 포함합니다:

  • 훈련 중단 기준: AGI 프로젝트가 훈련을 중단해야 할 시점을 위한 표준.
  • 배포 안전: 모델을 배포해도 안전한 시점을 결정하기 위한 표준.
  • 프로덕션 회수: 모델을 프로덕션 사용에서 철수시켜야 할 시점을 위한 표준.
  • 정부 통찰: 주요 세계 정부가 일정 규모 이상의 훈련에 대해 통찰을 가져야 한다는 믿음.

초지능으로 가는 길

OpenAI는 AGI를 지능 연속체상의 한 지점으로 봅니다. 현재 속도로 진행된다면, 세계는 급격히 변할 수 있으며, 정렬되지 않은 초지능 AGI나 초지능을 선점한 독재 정권과 관련된 엄청난 위험이 따릅니다.

과학을 가속화할 수 있는 AI에 대한 특별한 고려가 이루어지며, 이는 AGI가 자체 진행을 가속화하는 "빠른 테이크오프"를 초래할 수 있습니다. OpenAI는 느린 테이크오프가 안전하게 만들기 더 쉽고, 중요한 시점에서 AGI 노력 간의 협력이 속도를 늦추는 것이 사회가 적응할 시간을 확보하는 데 필수적이라고 주장합니다.

Sources