google-deepmind/dqn_zoo

何を解決するか

DQN Zoo は、さまざまな Deep Q-Network (DQN) エージェントの参照実装を提供します。DeepMind の DQN ベースの強化学習論文の研究結果を再現する問題を解決し、研究者がフォークしてカスタマイズできる読みやすく、自己完結型のコードベースを提供します。

どう動くか

このプロジェクトは JAX、Haiku、RLax を使用して実装されています。Double DQN、Prioritized Experience Replay、C51、QR-DQN、Rainbow、IQN などの異なる DQN のバリエーションごとに別々のディレクトリが用意されており、それぞれの論文のアルゴリズム的詳細を再現しています。エージェントは OpenAI Gym インターフェースを使用して、標準的な 57 種類の Atari ゲームで実行されるように設定されています。

対象ユーザー

DQN のバリエーションの信頼できる参照実装が必要な強化学習の研究者向けに設計されています。自身の研究のベースラインや出発点として利用できます。

特徴

• 参照実装: Rainbow や IQN を含む複数の DQN バリエーションについて、57 種類の Atari ゲームで結果を再現。
• 研究者向け: 一般的なライブラリの柔軟性よりも、読みやすさと最小限の依存関係を優先。
• JAX ベース: 高効率な計算を実現するため、JAX、Haiku、RLax を使用。
• 自己完結型: 依存関係と Atari ROM を扱うための Docker ベースのクイックスタートを含む。