Farama-Foundation/MOMAland

何を解決するか

MOMAlandは、多目的マルチエージェント強化学習（MOMARL）アルゴリズムを開発・比較するための標準化された手法を提供します。複数のエージェントが、しばしば競合する複数の目標を同時に最適化しなければならない環境において、共通のAPIや一貫したベンチマークが不足しているという問題を解決します。

仕組み

PettingZoo API標準を拡張し、報酬が単一のスカラー値ではなく、ベクトル化されたnumpy配列として返される一連の環境を提供します。これにより、学習アルゴリズムが複数の目的を扱えるようになります。また、このライブラリには、ユーザーが単一目的のマルチエージェント強化学習に移行したい場合に備え、重みを使用してこれらのベクトル報酬をスカラー値に変換するLinearizeRewardラッパーも含まれています。

対象者

ベンチマークやアルゴリズム開発のために一貫したフレームワークを必要とする、多目的強化学習およびマルチエージェントシステムに取り組む研究者や開発者。

ハイライト

• 標準化されたAPI: アルゴリズムと環境間のシームレスな通信のためにPettingZoo標準に基づいて構築されています。
• ベクトル化された報酬: エージェントごとに複数の報酬目的を返す環境をサポートしています。
• 組み込みのベンチマーク: MOMARLの文献から引用された環境や、SISLやButterflyのような古典的な環境の多目的バージョンが含まれています。
• 統合されたアルゴリズム: 明確さを期すために、単一ファイル形式で実装された一連の自己完結型の学習アルゴリズム（例：MOMAPPO）を提供します。