OpenAI 대형 모델을 통한 진화 (ELM) 연구

OpenAI는 Evolution through Large Models (ELM)이라는 프레임워크를 도입했으며, 이는 대형 언어 모델(LLM)을 활용해 유전 프로그래밍(GP)에서 변이 연산자의 효율성을 높입니다. LLM을 사용해 가능한 코드 수정안을 제시함으로써, ELM은 모델이 사전 학습 데이터가 없었던 영역에서도 기능적인 프로그램을 생성할 수 있습니다.

LLM을 활용한 유전 프로그래밍 개선

ELM은 유전 프로그래밍에서 전통적인 무작위 변이 연산자를 대형 언어 모델이 주도하는 변이로 대체합니다. LLM은 순차적인 코드 변경 및 수정이 포함된 방대한 데이터셋으로 학습되었기 때문에 인간 프로그래머가 수행할 유형의 변화를 근사할 수 있습니다. 이는 무작위 탐색보다 더 효율적으로 프로그램을 기능적인 솔루션으로 진화시킬 수 있게 합니다.

사례 연구: Sodarace 도메인

ELM의 폭넓은 역량을 보여주기 위해 OpenAI 연구원들은 이 프레임워크를 Sodarace 도메인에 적용했습니다. 결과는 다음과 같습니다:

• 기능적 프로그램 생성: ELM은 MAP-Elites 알고리즘과 결합되어 수십만 개의 기능적인 Python 프로그램을 생성했습니다.
• 사전 학습에서의 새로움: 이 프로그램들은 원래 LLM이 사전 학습 단계에서 한 번도 접해보지 못한 도메인에서 작동하는 보행 로봇을 출력했습니다.
• 새 모델 부트스트래핑: 생성된 기능적 예제들은 새로운 조건부 언어 모델의 학습을 부트스트랩하는 데 사용되었습니다. 이 새로운 모델은 주어진 상황에 따라 특정 지형에 맞는 올바른 "walker"(로봇 구성)를 출력할 수 있습니다.

AI 연구에 대한 시사점

초기 학습 데이터가 전혀 없는 도메인에서 새로운 모델을 부트스트랩할 수 있는 능력은 여러 AI 연구 분야에 중요한 함의를 가집니다:

• 개방성: ELM은 라벨링된 데이터셋 없이도 환경에서 새로운 기능적 아티팩트를 발견할 수 있는 메커니즘을 제공합니다.
• 딥러닝: 이 프레임워크는 생성 모델을 활용해 고품질 합성 데이터를 만들어 후속 모델을 학습시키는 방법을 보여줍니다.
• 강화학습: 진화적 탐색을 통해 성공적인 행동을 찾고 이를 신경망에 증류하는 과정은 복잡한 보상 함수와 탐색을 다루는 새로운 접근법을 제시합니다.

SUMMARY: OpenAI는 대형 모델을 통한 진화(ELM)를 소개합니다. 이 방법은 LLM을 활용해 인간과 유사한 코드 변이를 근사함으로써 유전 프로그래밍을 개선하고 새로운 도메인에서 기능적인 프로그램을 생성합니다.

TITLE: OpenAI 대형 모델을 통한 진화 (ELM) 연구