cleanrl: 研究およびプロトタイピングのための高品質なシングルファイル深層強化学習実装のコレクション

何を解決するか

CleanRLは、モジュール化された深層強化学習（DRL）ライブラリの複雑さと不透明さを解決します。多くのRLライブラリは、重い抽象化やサブクラス化を使用しており、研究者がアルゴリズムの正確な実装詳細を理解したり、深いファイル階層を辿ることなく新しい機能をプロトタイプしたりすることを困難にしています。

仕組み

モジュール化されたアーキテクチャの代わりに、CleanRLはDRLアルゴリズムの高品質なシングルファイル実装を提供します。特定のアルゴリズムのバリエーションのあらゆる詳細は、1つのスタンドアロンなPythonファイル内に含まれています。このアプローチは、コードの再利用よりも可読性と透明性を優先しており、ユーザーが複数のモジュール間を移動することなく、アルゴリズムがどのように実装されているかを正確に確認できるようにします。

対象者

RLアルゴリズムの内部動作を理解したい、あるいは標準的なモジュール化ライブラリではサポートされていない高度な機能をプロトタイプしたい研究者や開発者向けに設計されています。

ハイライト

• シングルファイル実装: 各アルゴリズムのバリエーションは、読みやすさとデバッグのしやすさのために1つのファイルにまとめられています。
• ベンチマーク結果: 34以上のゲームにわたる7つ以上のアルゴリズムの実装が含まれています。
• 実験トラッキング: ログ記録と管理のためにTensorboardおよびWeights and Biasesと統合されています。
• クラウド対応: 実験を数千回の実行にスケールアップするために、DockerおよびAWS Batchをサポートしています。
• 幅広いアルゴリズムのサポート: PPO, DQN, C51, SAC, DDPG, TD3, PPG, RNDを実装しています。