OpenAI 약-강 일반화 연구

OpenAI는 초정렬을 위한 새로운 연구 방향을 제시했으며, GPT-2 수준의 모델을 사용해 더 큰 모델(GPT-4)을 감독함으로써 GPT-3.5 수준에 근접하는 성능을 이끌어낼 수 있음을 보여주었습니다. 이 연구는 딥러닝의 일반화 특성을 활용해 약한 감독자를 통해 강력한 모델을 제어할 수 있음을 시사하므로, 미래 초인적인 AI 시스템을 정렬하기 위한 필수 단계입니다.

초정렬 문제

미래의 AI 시스템은 곧 초지능에 도달할 수 있습니다—인간보다 훨씬 더 똑똑한 AI. 초정렬의 핵심 과제는 인간이 “약한 감독자” 역할을 하면서 자신보다 훨씬 더 능력 있는 AI 시스템을 신뢰성 있게 조종하고 제어해야 한다는 점입니다.

전통적인 정렬 방법, 예를 들어 인간 피드백을 통한 강화학습(RLHF)은 인간 감독에 의존합니다. 그러나 이러한 방법은 초인적인 모델에 적용될 때 확장성이 떨어질 수 있습니다. 인간은 수백만 줄에 달하는 새로운, 잠재적으로 위험한 컴퓨터 코드를 생성하는 등 인간 전문가의 이해를 초월하는 매우 복잡한 행동을 신뢰성 있게 감독할 수 없기 때문입니다.

실험 설정: 소형-대형 모델 감독

초정렬 문제를 실증적으로 연구하기 위해 OpenAI 연구원들은 프록시 비유를 사용했습니다: 더 크고 능력 있는 모델을 더 작고 덜 능력 있는 모델이 감독하는 방식입니다.

핵심 질문은 강력한 사전학습 모델이 약한 감독자의 근본적인 의도에 따라 일반화할 수 있는지, 단순히 약한 감독자의 오류를 모방하는 것이 아니라,였습니다. 강력한 모델은 잠재적인 지식을 보유하고 있기 때문에, 작은 모델의 감독 신호를 이용해 이 지식을 이끌어내는 것이 목표였습니다.

주요 결과 및 발견

OpenAI는 여러 상황에서 일반화를 크게 향상시킬 수 있음을 발견했습니다. 강력한 모델이 더 자신감 있게 행동하도록 장려하는 방법을 사용함으로써—필요할 때 약한 감독자와 자신 있게 의견 차이를 보이는 것을 포함—NLP 작업에서 GPT-2 수준의 감독만으로도 GPT-4의 많은 능력을 회복할 수 있었습니다. 결과 모델의 성능은 일반적으로 GPT-3와 GPT-3.5 사이에 위치했습니다.

• 어려운 문제에 대한 일반화: 강력한 모델은 약한 감독자가 실패한 어려운 문제에서도 올바르게 일반화했습니다.
• 대안적 접근법: 연구자들은 작은 모델에서 중간 모델, 대형 모델로 부트스트래핑하고 최적의 조기 중단과 같은 다른 방법에서도 “생명 징후”를 관찰했습니다.
• 제한점: 이 방법은 개념 증명에 불과하며 현재 ChatGPT 선호 데이터에는 적용되지 않습니다.

AI 정렬에 대한 시사점

결과는 순수한 인간 감독(RLHF와 같은)이 초인적인 모델에 확장성이 떨어질 수 있지만, 약-강 일반화를 크게 향상시키는 것이 가능함을 시사합니다.

하지만 연구자들은 잠재적인 비유 불일치를 지적합니다: 미래의 초인적인 모델이 인간의 오류를 모방하는 것이 현재 강력한 모델이 현재 약한 모델의 오류를 모방하는 것보다 더 쉬울 수 있습니다. 이는 미래 정렬이 현재 프록시 실험이 시사하는 것보다 더 어려워질 수 있음을 의미합니다.

커뮤니티 리소스 및 보조금

이 분야의 연구를 가속화하기 위해 OpenAI는 약-강 일반화 실험을 지원하는 오픈소스 코드를 공개했으며, 초인적인 AI 정렬에 초점을 맞춘 대학원생, 학계, 기타 연구자를 위해 1천만 달러 규모의 보조금 프로그램을 시작했습니다.