단일 시연을 통한 Montezuma’s Revenge 학습

OpenAI는 Atari 게임 Montezuma’s Revenge에서 74,500점이라는 높은 점수를 달성할 수 있는 강화 학습(RL) 에이전트를 개발했으며, 이는 이전에 발표된 모든 결과를 능가합니다. 이 에이전트는 Proximal Policy Optimization(PPO)을 사용해 게임 점수를 최적화하고, 단일 인간 시연을 활용해 희소 보상 환경에서 탐색의 고유한 어려움을 우회합니다.

희소 보상 게임에서의 탐색 문제

강화 학습 에이전트는 보상을 찾기 위해 무작위 탐색에 의존하기 때문에 Montezuma’s Revenge와 같은 게임에서 일반적으로 어려움을 겪습니다. 보상이 희소하고 긴, 정밀한 행동 순서를 필요로 하는 환경에서는 무작위로 보상을 우연히 발견할 확률이 순서 길이(N)에 따라 지수적으로 증가합니다 (exp(N)).

예를 들어, Montezuma’s Revenge에서 첫 번째 열쇠를 얻으려면 사다리를 내려가고, 로프를 건너며, 장애물을 뛰어넘는 특정 행동 순서가 필요합니다. 성공 확률은 각 개별 행동의 확률을 곱한 값이므로 무작위 에이전트가 성공할 가능성은 매우 낮습니다.

시연 기반 커리큘럼을 통한 탐색 단순화

탐색 문제를 해결하기 위해 OpenAI는 인간 시연을 사용해 하위 과제들의 커리큘럼을 구성함으로써 탐색과 학습을 분리했습니다. 매 에피소드를 게임 시작부터 시작하는 대신, 에이전트는 시연 내에서 신중히 선택된 상태에서 시작합니다.

역 커리큘럼 과정

  1. End-State Initialization: 에이전트는 인간 시연의 끝 부분 근처에서 에피소드를 시작함으로써 훈련을 시작합니다.
  2. Incremental Regression: 에이전트가 게임 남은 부분에서 시연자의 점수를 최소 20%의 롤아웃에서 이기거나 동점할 수 있게 되면, 시작 지점을 시간상으로 뒤로 이동합니다.
  3. Full Game Mastery: 이 과정은 에이전트가 게임의 원래 시작점에서 시작해 목표에 독립적으로 도달할 수 있을 때까지 계속됩니다.

모방 학습과의 비교

시연에서 특정 상태나 행동을 모방하도록 에이전트를 훈련시키는 모방 기반 접근법과 달리, OpenAI의 방법은 게임 점수를 직접 최적화합니다. 이러한 차별점은 여러 장점을 제공합니다:

  • Avoids Overfitting: 에이전트가 잠재적으로 최적이 아닐 수 있는 인간 시연에 얽매이지 않습니다.
  • Performance Optimization: 에이전트는 인간 시연자가 고려하지 않았을 수도 있는 새로운 해결책을 발견할 수 있습니다.
  • Versatility: 이 방법은 특정 플레이어를 단순히 모방하는 것이 아니라 상대를 능가하는 것이 목표인 멀티플레이어 게임에 더 적합합니다.

기술적 도전 과제와 일반화

탐색을 단순화했음에도 불구하고, 에이전트는 여러 기술적 난관에 직면합니다:

상태 일반화

프레임 스킵 차이와 행동의 내재된 무작위성 때문에 에이전트가 시연에서 정확한 상태에 도달하지 못하는 경우가 많습니다. 따라서 에이전트는 매우 유사하지만 동일하지 않은 상태들 사이를 일반화할 수 있어야 합니다. 이는 Montezuma’s Revenge에서는 성공했지만, OpenAI가 더 어려운 시각 문제 때문이라고 판단한 Gravitar와 Pitfall 같은 게임에서는 덜 효과적이었습니다.

하이퍼파라미터 튜닝

높은 점수를 달성하려면 PPO 엔트로피 보너스 계수, 학습률, 보상 스케일링을 정밀하게 조정해야 했습니다. 알고리즘은 여전히 큰 무작위 변동을 보이며, 일부 실행은 수렴에 실패합니다.

견고성 및 교란

일반화를 테스트하기 위해 OpenAI는 정책에 교란을 적용했습니다:

  • Sticky Actions: 마지막 행동을 0.25 확률로 반복하면 평균 점수가 10,000점이 되었습니다.
  • Random Actions: 무작위 행동을 0.01 확률로 도입하면 평균 점수가 8,400점이 되었습니다.

이러한 교란은 점수를 낮추지만, 결과는 여전히 이전에 발표된 벤치마크보다 우수합니다.

Sources