Kaixhin/imitation-learning

何を解決するか

このプロジェクトは、さまざまなディープインミテーションラーニング（IL）アルゴリズムを実装・ベンチマークする統合フレームワークを提供します。エキスパートのデモンストレーションを模倣することでエージェントにタスクを実行させるという課題に対処し、標準的なロボット環境上で異なるIL手法を比較できるようにします。

動作方法

このライブラリは、ソフトアクターキリティック（SAC）をベースとなる強化学習アルゴリズムとして使用し、以下のインミテーションラーニング技術を実装しています：

• AdRIL, DRIL, GAIL, GMMIL, PWIL, and RED。
• 行動クラッシング（BC） を事前学習に使用。

状態のみのインミテーション、吸収状態インジケータ、エージェントデータとエキスパートデータの混合など、さまざまな構成をサポートします。D4RLのエキスパートデータを用いてGym MuJoCo環境でベンチマークされています。

対象ユーザー

強化学習およびロボティクス分野の研究者や開発者向けです。異なるインミテーションラーニングアルゴリズムを信頼性の高い標準化された方法でテスト・評価する必要がある方々に最適です。

特徴

• 包括的なアルゴリズムスイート：GAILやREDを含む幅広いILアルゴリズムを搭載。
• 柔軟な構成：ディスクリミネータ、報酬形状（AIRL）、損失関数（BCE、Mixup、PUGAIL）のための豊富なハイパーパラメータを提供。
• 統合されたベンチマーク：Gym MuJoCoとD4RLデータセットのネイティブサポート。
• ハイパーパラメータ最適化：AxとHydraを用いたベイズ最適化により、異なるトラジェクトリ数に対する最適な設定を探索可能。
• 並列実行：複数の環境で同時に学習を実行できる機能。