Kaixhin/imitation-learning

해결하는 문제

이 프로젝트는 다양한 딥 인미테이션 러닝(IL) 알고리즘을 구현하고 벤치마킹할 수 있는 통합 프레임워크를 제공합니다. 전문가의 예시를 모방하여 에이전트가 작업을 수행하도록 훈련시키는 도전 과제를 해결하며, 표준 로봇 환경에서 다양한 IL 방법을 비교할 수 있도록 합니다.

작동 방식

이 라이브러리는 소프트 액터-크리틱(SAC)을 기반 강화학습 알고리즘으로 사용하고, 다음과 같은 인미테이션 러닝 기법을 구현합니다:

• AdRIL, DRIL, GAIL, GMMIL, PWIL, and RED.
• 행동 클로닝(BC) 을 사전 훈련에 사용.

상태만을 기반으로 한 인미테이션, 흡수 상태 지표, 에이전트 데이터와 전문가 데이터의 혼합 등 다양한 구성 옵션을 지원합니다. D4RL 전문가 데이터를 사용하여 Gym MuJoCo 환경에서 벤치마킹되었습니다.

대상 사용자

강화학습 및 로봇 기술 분야의 연구자 및 개발자에게 주로 적합합니다. 다양한 인미테이션 러닝 알고리즘을 신뢰할 수 있고 표준화된 방식으로 테스트 및 평가할 필요가 있는 분들께 적합합니다.

주요 특징

• 포괄적인 알고리즘 세트: GAIL과 RED를 포함한 다양한 IL 알고리즘을 포함.
• 유연한 구성: 디스크리미네이터, 보상 형상화(AIRL), 손실 함수(BCE, Mixup, PUGAIL)에 대한 광범위한 하이퍼파라미터 제공.
• 통합 벤치마킹: Gym MuJoCo 및 D4RL 데이터셋에 내장된 지원 기능.
• 하이퍼파라미터 최적화: Ax와 Hydra를 통해 베이지안 최적화를 지원하여 다양한 트래잭토리 수에 최적의 설정을 찾을 수 있음.
• 병렬 실행: 여러 환경에서 동시에 학습을 실행할 수 있는 기능.