alex-petrenko/sample-factory

解決する課題

Sample Factoryは、トレーニング時間とハードウェア要件を最小限に抑えつつ、最先端のパフォーマンスを実現するように設計された高スループット強化学習（RL）ライブラリです。ポリシー勾配、特に近接ポリシー最適化（PPO）の高度に最適化された実装を提供することで、RLトレーニングの遅さという課題に対処します。

仕組み

このライブラリは、学習スループットを最大化するために高度に最適化されたアーキテクチャを使用しており、同期および非同期の両方のトレーニング体制をサポートしています。デバッグ用のシリアルモードで動作可能であり、CPUベースおよびGPUアクセラレーション環境の両方で最適に動作します。システムは、アクションおよび観測空間の仕様に基づいてモデルアーキテクチャを自動的に作成しますが、カスタムモデルアーキテクチャやカスタム環境もサポートしています。

対象ユーザー

ピクセルベース（VizDoomなど）や物理ベース（MujocoやIsaacGymなど）を含む、多様な環境でエージェントをトレーニングするための効率的でスケーラブルなRLフレームワークを必要とする研究者や実務者。

ハイライト

• 高スループット： 最大の学習速度と最小限のハードウェアオーバーヘッドのために最適化されています。
• 柔軟なトレーニング： 同期、非同期、およびシリアルトレーニングモードをサポートしています。
• 幅広い互換性： 離散、連続、およびハイブリッドアクション空間、ならびにベクトルベース、画像ベース、および辞書ベースの観測空間で動作します。
• 高度なRL機能： シングルエージェントおよびマルチエージェントトレーニング、セルフプレイ、集団ベーストレーニング（PBT）、およびマルチポリシートレーニングのサポートが含まれています。
• 統合： モデル共有のためにHuggingFaceと統合されており、WandBおよびTensorboardを介した詳細なモニタリングを提供します。