OpenAI 비디오 사전학습 (VPT) for Minecraft

OpenAI는 비디오 사전학습(VPT)이라는 반지도 학습 모방 학습 방법을 개발했으며, 이를 통해 신경망이 라벨이 없는 인간 비디오를 시청함으로써 환경에서 어떻게 행동해야 하는지를 학습할 수 있게 했습니다. 이 방법을 Minecraft에 적용함으로써, OpenAI는 에이전트가 다이아몬드 도구 제작과 같은 복잡하고 장기적인 행동을 습득할 수 있음을 보여주었으며, 이는 기존에 처음부터 강화 학습만으로는 달성할 수 없었던 것이었습니다.

비디오 사전학습 (VPT) 방법론

인터넷에 존재하는 방대한 라벨이 없는 비디오 데이터를 활용하기 위해 OpenAI는 VPT 파이프라인을 도입했습니다. 인터넷 비디오를 사용할 때의 주요 과제는 플레이어가 사용한 정확한 키 입력 및 마우스 움직임(행동 라벨)의 기록이 없다는 점입니다.

역동역학 모델 (IDM)

OpenAI는 행동 라벨링 문제를 역동역학 모델(IDM)을 학습시켜 해결했습니다. 과정은 다음과 같습니다:

  1. Contractor Data Collection: 인간 계약자들로부터 작은 데이터셋을 수집했으며, 비디오와 해당 행동 라벨(키 입력 및 마우스 움직임)을 모두 기록했습니다.
  2. IDM Training: IDM은 비디오의 각 단계에서 수행된 행동을 예측하도록 학습됩니다. 표준 행동 복제와 달리, IDM은 과거와 미래 프레임을 모두 활용해 행동을 추정할 수 있습니다.
  3. Large-Scale Labeling: 학습이 완료된 IDM은 라벨이 없는 온라인 비디오의 방대한 데이터셋에 라벨을 부여하는 데 사용되어, 합성 행동 라벨 데이터셋을 생성합니다.
  4. Behavioral Cloning: 이후 기반 모델은 이 IDM 라벨이 부여된 데이터를 사용해 행동 복제로 학습됩니다.

VPT 기반 모델의 제로샷 능력

VPT 기반 모델은 70,000시간 분량의 IDM 라벨이 부여된 온라인 비디오를 학습했습니다. 인간이 사용하는 기본 인터페이스(마우스와 키보드로 20Hz 프레임 레이트)를 이용해, 모델은 여러 가지 "제로샷" 능력을 달성했으며—즉, 추가 파인튜닝 없이 사전 학습만으로도 이러한 작업을 수행할 수 있음을 의미합니다:

  • Early Game Sequence: 모델은 나무를 베어 목재를 만들고, 작업대를 제작할 수 있습니다. 이 과정은 숙련된 인간이 보통 약 50초, 즉 1,000번의 연속 행동을 필요로 합니다.
  • General Survival Skills: 모델은 수영하고, 동물을 사냥해 음식으로 섭취하며, 먹는 방법을 학습했습니다.
  • Advanced Movement: 모델은 "기둥 점프"를 마스터했으며, 이는 계속해서 점프하고 자신 아래에 블록을 놓아 상승하는 행동을 의미합니다.

파인튜닝 및 성능 스케일링

OpenAI는 행동 복제(BC)와 강화 학습(RL)을 통해 VPT 모델의 특화 능력을 테스트했습니다.

행동 복제 파인튜닝

계약자들이 집을 짓는 작은 데이터셋(월드당 10분 플레이)으로 기반 모델을 파인튜닝함으로써, 모델은 초기 게임 스킬에서 크게 향상되었으며, 목재 및 돌 도구 제작, 마을의 상자 약탈, 기본적인 피난처 구축 등 능력을 확장했습니다.

데이터 스케일링 가설

OpenAI는 계약자 데이터를 사용해 IDM을 학습시키는 것이 동일한 데이터를 직접 사용해 BC 기반 모델을 학습시키는 것보다 더 효과적일 것이라고 가설을 세웠습니다. 이를 검증하기 위해 1시간부터 70,000시간까지 다양한 규모의 데이터로 모델을 학습시켰습니다. 결과는 기반 모델 데이터가 증가함에 따라 일반적으로 제작 능력이 향상되었으며, 돌 도구 제작은 가장 큰 데이터 규모에서만 나타났음을 보여줍니다.

강화 학습 (RL) 파인튜닝

RL과 결합될 때, VPT 모델은 강력한 행동 사전으로 작용합니다. 무작위 초기화에서 학습된 표준 RL 정책은 통나무나 막대를 거의 수집하지 못했지만, RL 파인튜닝된 VPT 모델은 10분 에피소드의 2.5%에서 성공적으로 다이아몬드 곡괭이를 제작했습니다.

다이아몬드 도구 제작은 숙련된 인간이 보통 20분 이상(약 24,000번의 행동) 걸리는 작업입니다. 이는 컴퓨터 에이전트가 인간 인터페이스를 사용해 Minecraft에서 이 능력을 처음으로 달성한 사례입니다.

일반 컴퓨터 활용 에이전트에 대한 시사점

OpenAI는 VPT가 인터넷 비디오로부터 행동 사전을 학습하는 경로를 제공하며, 단순한 표현 사전을 넘어선다고 결론짓습니다. Minecraft가 개방형이며 일반적인 마우스와 키보드 인터페이스를 사용하기 때문에, OpenAI는 이러한 결과가 인간과 유사한 방식으로 컴퓨터를 활용할 수 있는 일반 에이전트 개발 가능성을 시사한다고 제안합니다.

Sources