OpenAI Procgen and MineRL コンペティション

OpenAIは、AIcrowd、Carnegie Mellon University、およびDeepMindと協力して、NeurIPS 2020に向けた2つのコンペティションを共同開催しています。これらのコンペティションは、Procgen BenchmarkとMineRLを活用し、強化学習（RL）におけるサンプル効率と汎化性能の向上に研究コミュニティに挑戦することを目的としています。

Procgen コンペティション：汎化性能とサンプル効率の向上

Procgen コンペティションは、多様な環境セット全体で固定された数の環境インタラクションを使用して、エージェントのパフォーマンスを最大化することを目指しています。このアプローチは、未知の状況へのエージェントの汎化能力をテストし、サンプル効率を向上させるために設計されています。

評価指標と環境

エージェントは、公開されている16のProcgen Benchmark環境、およびコンペティションのために特別に作成された4つの秘密のテスト環境にわたって評価されます。これらの多様な設定におけるパフォーマンスを集計することで、主催者は基礎となるアルゴリズムを判断するための高品質な指標を提供します。

アクセシビリティのための設計

Procgen環境は手続き的に生成されるため、本質的にエージェントに新しい状況への汎化を要求します。環境は高速かつシンプルに使用できるように設計されており、計算リソースが限られている参加者がベースラインの結果を再現し、新しい手法を迅速に試行錯誤できるようにしています。

MineRL コンペティション：人間のデモンストレーションの活用

MineRL 2020 コンペティションは、複雑で階層的、かつ疎な環境を解決するために、人間のデモンストレーションを効率的に活用できるアルゴリズムの開発に焦点を当てています。これは、AlphaStarやOpenAI Fiveのような多くの最先端のRLシステムが、指数関数的に増加する計算量とシミュレータのサンプルを必要とし、サンプルコストが高い実世界の問題への適用が困難であるという事実に呼応したものです。

技術的制約と目標

参加者は、生のピクセルからMinecraftでダイヤモンドを取得できるシステムを開発しなければなりません。コンペティションでは、真にサンプル効率の高いアルゴリズムの開発を確実にするために、厳格な制約を課しています：

• Sample Limit: Only 8,000,000 samples from the MineRL simulator.
• Compute Limit: 4 days of training on a single GPU machine.
• Data Source: Participants are provided the MineRL-v0 dataset, which contains over 60 million frames of human demonstrations.

標準的な RL との比較

トップエージェントが鉄のツルハシを取得したMineRL 2019 コンペティションに続き、2020年の挑戦は最先端の技術をさらに押し進めます。標準的なRLシステムは、同様の目標を達成するために、通常、大規模なマルチGPUシステム上で数億回の環境インタラクションを必要としますが、MineRL コンペティションの制約は、シミュレータとのインタラクションを最小限に抑えるために、エキスパートの軌跡への依存を強いています。

検証と過学習防止策

特徴量のハンドエンジニアリングやドメインへの過学習を防ぐため、MineRL コンペティションの主催者は、トップチームの最終ラウンドのモデルを、同じ厳格なハードウェア、計算量、およびシミュレータとのインタラクションの制約を使用して、ゼロからトレーニングします。