Farama-Foundation/MOMAland

무엇을 해결하는가

MOMAland는 다중 목적 다중 에이전트 강화 학습(MOMARL) 알고리즘을 개발하고 비교할 수 있는 표준화된 방법을 제공합니다. 이는 여러 에이전트가 동시에 여러 개의, 종종 상충하는 목표를 최적화해야 하는 환경에서 공통 API와 일관된 벤치마크가 부족한 문제를 해결합니다.

어떻게 작동하는가

PettingZoo API 표준을 확장하여, 보상이 단일 스칼라 값이 아닌 벡터화된 numpy 배열로 반환되는 환경 세트를 제공합니다. 이를 통해 학습 알고리즘이 여러 목적을 처리할 수 있습니다. 또한 이 라이브러리는 사용자가 단일 목적 다중 에이전트 RL로 전환하고자 할 경우, 가중치를 사용하여 이러한 벡터 보상을 다시 스칼라로 변환하는 LinearizeReward 래퍼를 포함합니다.

누구를 위한 것인가

벤치마킹 및 알고리즘 개발을 위한 일관된 프레임워크가 필요한 다중 목적 강화 학습 및 다중 에이전트 시스템 분야의 연구자 및 개발자.

주요 특징

• 표준화된 API: 알고리즘과 환경 간의 원활한 통신을 위해 PettingZoo 표준을 기반으로 구축되었습니다.
• 벡터화된 보상: 에이전트당 여러 개의 보상 목적을 반환하는 환경을 지원합니다.
• 내장된 벤치마크: MOMARL 문헌의 환경과 SISL 또는 Butterfly와 같은 고전적 환경의 다중 목적 버전을 포함합니다.
• 통합된 알고리즘: 명확성을 위해 단일 파일 스타일로 구현된 일련의 독립적인 학습 알고리즘(예: MOMAPPO)을 제공합니다.