cleanrl: 연구 및 프로토타이핑을 위한 고품질 단일 파일 심층 강화 학습 구현 모음

해결하는 문제

CleanRL은 모듈형 심층 강화 학습(DRL) 라이브러리의 복잡성과 불투명성을 해결합니다. 많은 RL 라이브러리는 과도한 추상화와 서브클래싱을 사용하여, 연구자가 알고리즘의 정확한 구현 세부 사항을 이해하거나 깊은 파일 계층 구조를 탐색하지 않고 새로운 기능을 프로토타이핑하는 것을 어렵게 만듭니다.

작동 방식

모듈형 아키텍처 대신, CleanRL은 DRL 알고리즘의 고품질 단일 파일 구현을 제공합니다. 특정 알고리즘 변형의 모든 세부 사항은 하나의 독립적인 Python 파일 내에 포함되어 있습니다. 이 접근 방식은 코드 재사용보다 가독성과 투명성을 우선시하여, 사용자가 여러 모듈을 오가며 확인하지 않고도 알고리즘이 어떻게 구현되었는지 정확히 볼 수 있게 합니다.

대상 사용자

RL 알고리즘의 내부 작동 방식을 이해하고 싶거나, 표준 모듈형 라이브러리에서 지원하지 않는 고급 기능을 프로토타이핑하려는 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• 단일 파일 구현: 각 알고리즘 변형은 읽기와 디버깅이 쉽도록 하나의 파일에 포함되어 있습니다.
• 벤치마크 결과: 34개 이상의 게임에 걸쳐 7개 이상의 알고리즘 구현을 포함합니다.
• 실험 추적: 로깅 및 관리를 위해 Tensorboard 및 Weights and Biases와 통합되었습니다.
• 클라우드 준비 완료: 수천 번의 실행으로 실험을 확장할 수 있도록 Docker 및 AWS Batch를 지원합니다.
• 폭넓은 알고리즘 지원: PPO, DQN, C51, SAC, DDPG, TD3, PPG, RND를 구현합니다.