OpenAI Retro コンテスト結果

TL;DR

OpenAIは、過去の経験から一般化できる強化学習（RL）アルゴリズムの開発に焦点を当てたコンペティションであるRetroコンテストの第1回を完了しました。結果は、Sonicベンチマークが一般的な機械学習アプローチをテストする有効なツールであることを示しています。最高のパフォーマンスは、コンペティション固有のハックではなく、既存のアルゴリズムのチューニングと拡張によって達成されました。

パフォーマンスベンチマークと結果

コンテストで最高性能を示したエージェントは最大スコア4,692を達成しましたが、理論上の最大スコア10,000には大きく届いていません。このギャップは、AIエージェントが新しい環境で一般化し迅速に学習する能力にまだ大きな改善余地があることを示しています。

上位スコアチーム

順位	チーム	スコア
#1	Dharmaraja	4,692
#2	mistake	4,446
#3	aborg	4,430
#4	whatever	4,274
#5	Students of Plato	4,269
Baseline	Joint PPO	4,070
Baseline	Joint Rainbow	3,843
Baseline	Rainbow	3,498

優勝ソリューションの技術的アプローチ

優勝ソリューションは、一般的な機械学習手法に依存しており、特にProximal Policy Optimization（PPO）とRainbow DQNの改良に焦点を当てました。

Dharmaraja（1位）

Dharmarajaチームは、joint PPOのバリエーションを使用し、いくつかの重要な変更を加えました：

Visual Input: グレースケールからRGB画像に切り替えました。
Action Space: より一般的なボタン組み合わせを含むようにアクション空間を拡張しました。
Reward Function: 画面の知覚ハッシュで決定される新しい状態への訪問に対してエージェントに報酬を与える拡張報酬関数を実装しました。

mistake（2位）

mistakeチームはRainbowベースラインに基づき、Rainbow DQNを用いてスクラッチからトレーニングしました。パフォーマンス向上は以下から得られました：

Hyper-parameter Tuning: nステップQ学習の$n$の値を最適化しました。
Architecture: モデルに追加のCNN層を加え、トレーニングが遅くなるにもかかわらず性能が向上しました。
Update Interval: DQNのターゲット更新間隔を短くしました。

aborg（3位）

aborgチームはjoint PPOのバリエーションを使用し、転移学習と高速適応に焦点を当てました：

Pre-training: Game Boy AdvanceおよびMaster SystemのSonicゲームから追加のトレーニングレベルを利用しました。
Architecture: ネットワークアーキテクチャを変更しました。
Hyper-parameter Optimization: ファインチューニングの最初の150Kタイムステップを安定させるために学習率を特に調整しました。

評価手法

リーダーボードへの過学習を防ぐため、OpenAIは二段階の評価プロセスを採用しました：

Leaderboard Phase: コンテスト参加者は、レベルエディタで作成された品質の低い5つのテストレベルに基づくスコアとビデオでフィードバックを受け取りました。
Final Evaluation: 上位10名は、熟練したレベルデザイナーが設計した11のカスタムSonicレベルでテストされました。各エージェントは、ノイズを減らすために異なるランダムシードを使用して各レベルを3回評価されました。

主な教訓と示唆

OpenAIは、最も成功したアプローチがコンテスト前にOpenAIが設定した内部ベンチマークと根本的に異ならないことを観察しました。これにより、2つの主要な発見が浮き彫りになりました：

The Importance of Hyper-parameters: 上位の提出物は、既存のベースラインアルゴリズム（例：Rainbow DQN）の慎重にチューニングされたバージョンがデフォルト設定を大幅に上回ることを示しました。
Validation of the Sonic Benchmark: 優勝ソリューションが特定のハックではなく一般的な機械学習アプローチであったため、OpenAIはSonicベンチマークがコミュニティにとって堅牢な課題であると結論付けました。
Transfer Learning: 事前学習済みネットワークからのファインチューニングの使用は、複数の上位チームにとって成功した戦略でした。