agi-brain/xuance

何を解決するか

深層強化学習（DRL）アルゴリズムは、ハイパーパラメータへの敏感さや不安定な学習プロセスのため、実装やチューニングが困難なことがよくあります。XuanCeは、これらの「魔法のような」ポリシーをより簡単に学び、使用し、再現できるようにする、統合的で高品質かつモジュール化されたDRLアルゴリズム実装のライブラリを提供します。

仕組み

XuanCeは、PyTorch、TensorFlow、MindSporeを含む複数のディープラーニングバックエンドと互換性を持つ、包括的なDRLアルゴリズムの集合体です。単エージェントDRL、マルチエージェント強化学習（MARL）、モデルベースRL（MBRL）、対照的RL（CRL）など、幅広いタスクをサポートしています。このライブラリは高いモジュール性を設計しており、モデルを柔軟に組み合わせたり、並列環境や分散マルチGPU環境で学習を実行したりできます。

対象ユーザー

さまざまなディープラーニングフレームワーク上で、信頼性の高い標準化されたDRL/MARLアルゴリズムの実装が必要な研究者や開発者。

特徴

• マルチバックエンド対応: PyTorch、TensorFlow2、MindSporeと互換性があります。
• 豊富なアルゴリズムライブラリ: DQN、PPO、SAC、QMIX、MAPPO、DreamerV3など、多数の実装を含みます。
• 広範な環境互換性: Classic Control、Box2D、MuJoCo、Atari、Minigrid、Drones、MetaDrive、MPE、Robotic Warehouse、SMAC、Google Research Footballをサポートします。
• 高度な学習機能: 自動ハイパーパラメータチューニング、マルチGPUでの分散学習、TensorBoardやWandBによる可視化をサポートします。
• クロスプラットフォーム: Linux、Windows、macOS、EulerOSで動作します。