OpenAI Procgen 및 MineRL 경연 대회

OpenAI는 AIcrowd, Carnegie Mellon University, DeepMind와 협력하여 NeurIPS 2020을 위한 두 개의 경연 대회를 공동 주최합니다. 이 경연 대회들은 Procgen Benchmark와 MineRL을 활용하여 강화 학습(RL)의 샘플 효율성 및 일반화 능력을 향상시키기 위한 연구 커뮤니티의 도전을 유도합니다.

Procgen 경연 대회: 일반화 및 샘플 효율성 향상

Procgen 경연 대회는 다양한 환경 세트에서 고정된 횟수의 환경 상호작용을 사용하여 에이전트의 성능을 최대화하는 것을 목표로 합니다. 이 접근 방식은 에이전트가 보지 못한 상황에 일반화하는 능력과 샘플 효율성을 개선하도록 설계되었습니다.

평가 지표 및 환경

에이전트들은 공개적으로 출시된 16개의 Procgen Benchmark 환경뿐만 아니라, 경연 대회를 위해 특별히 제작된 4개의 비밀 테스트 환경에서 평가됩니다. 이러한 다양한 설정에서 성능을 종합함으로써, 주최측은 근본적인 알고리즘을 판단할 수 있는 고품질의 지표를 제공합니다.

접근성을 위한 설계

Procgen 환경은 절차적으로 생성되기 때문에, 본질적으로 에이전트가 새로운 상황에 일반화할 것을 요구합니다. 환경들은 빠르고 사용하기 간단하도록 설계되어, 계산 리소스가 제한적인 참가자들이 베이스라인 결과를 재현하고 새로운 방법론을 빠르게 반복 실험할 수 있도록 합니다.

MineRL 경연 대회: 인간의 시연 활용

MineRL 2020 경연 대회는 복잡하고 계층적이며 희소한 환경을 해결하기 위해 인간의 시연을 효율적으로 활용할 수 있는 알고리즘을 개발하는 데 중점을 둡니다. 이는 AlphaStar 및 OpenAI Five와 같은 많은 최첨단 RL 시스템이 기하급수적으로 증가하는 양의 컴퓨팅 자원과 시뮬레이터 샘플을 필요로 하여, 샘플 비용이 비싼 실제 세계의 문제에 적용하기 어렵다는 사실에 대응하는 것입니다.

기술적 제약 조건 및 목표

참가자들은 원시 픽셀(raw pixels)로부터 Minecraft에서 다이아몬드를 획득할 수 있는 시스템을 개발해야 합니다. 경연 대회는 진정으로 샘플 효율적인 알고리즘 개발을 것을 보장하기 위해 엄격한 제약 조건을 부과합니다:

• Sample Limit: MineRL 시뮬레이터로부터 단 8,000,000개의 샘플만 허용됩니다.
• Compute Limit: 단일 GPU 머신에서 4일간의 학습.
• Data Source: 참가자들에게는 6,000만 프레임 이상의 인간 시연 데이터가 포함된 MineRL-v0 데이터셋이 제공됩니다.

표준 RL과의 비교

최고의 에이전트가 철 곡괭이(iron pickaxe)를 획득했던 MineRL 2019 경연 대회에 이어, 2020년 챌린지는 최첨단 기술을 더욱 밀어붙입니다. 표준 RL 시스템이 유사한 목표를 달성하기 위해 대규모 멀티 GPU 시스템에서 수억 번의 환경 상호작용을 필요로 하는 것과 달리, MineRL 경연 대회의 제약 조건은 시뮬레이터 상호작용을 최소화하기 위해 전문가의 궤적(expert trajectories)에 의존하도록 강제합니다.

검증 및 과적합 방지 조치

특징(features)을 수동으로 설계하거나 도메인에 과적합되는 것을 방지하기 위해, MineRL 경연 대회 주최측은 상위 팀의 최종 라운드 모델을 동일한 엄격한 하드웨어, 컴퓨팅, 시뮬레이터 상호작용 제약 조건을 사용하여 처음부터 다시 학습시킵니다.