Farama-Foundation/Metaworld

해결하는 문제

Meta-World는 강화 학습(RL) 알고리즘을 개발하고 평가하기 위한 표준화된 오픈소스 벤치마크를 제공하는 것을 목표로 합니다. 구체적으로, 연속 제어 로봇 조작 작업에 초점을 맞추어 연구자들이 다중 작업 및 메타 강화 학습의 진행 상황을 일관되게 측정할 수 있도록 합니다.

작동 방식

이 프로젝트는 50개의 서로 다른 로봇 조작 환경을 제공합니다. Gymnasium API와 통합되어 사용자가 이러한 작업을 기반으로 벤치마크를 만들 수 있습니다. 두 가지 주요 유형의 벤치마크를 제공합니다:

• 다중 작업 벤치마크(MT1, MT10, MT50): 단일 정책이 여러 작업을 동시에 학습할 수 있습니다. 더 큰 세트(MT10, MT50)에서는 작업 ID가 상태 관측에 추가됩니다.
• 메타 학습 벤치마크(ML1, ML10, ML45): 퓨삿 적응에 초점을 맞추어 에이전트가 단일 작업 내에서 목표 변화에 적응하거나 완전히 새로운 작업에 적응하는 능력을 테스트합니다.

환경은 사용 가능한 계산 리소스를 최적화하기 위해 동기(단일 프로세스) 또는 비동기(격리된 프로세스) 모드로 실행할 수 있습니다.

대상 사용자

강화 학습에 종사하는 연구자와 개발자, 특히 로봇 조작, 다중 작업 학습, 메타 학습에 초점을 맞춘 사람들을 대상으로 합니다.

주요 특징

• Gymnasium API 호환성: 환경 생성 및 상호 작용에 익숙한 인터페이스를 사용합니다.
• 다양한 작업 세트: 50개의 서로 다른 로봇 조작 작업이 포함되어 있습니다.
• 사용자 정의 벤치마크: 사용자는 원하는 수의 Meta-World 환경을 결합하여 자신만의 사용자 정의 다중 작업 또는 메타 학습 벤치마크를 만들 수 있습니다.
• 유연한 실행: 효율적인 훈련을 위해 동기 및 비동기 벡터 환경을 지원합니다.