vwxyzjn/cleanrl
High-quality single file implementation of Deep Reinforcement Learning algorithms with research-friendly features (PPO, DQN, C51, DDPG, TD3, SAC, PPG)
What it solves
CleanRL 은 모듈화된 딥 강화 학습(DRL) 라이브러리의 복잡성과 불투명성을 해결합니다. 많은 RL 라이브러리는 무거운 추상화와 서브클래싱을 사용하여 연구자가 알고리즘의 정확한 구현 세부 사항을 이해하거나 깊은 파일 계층 구조를 탐색하지 않고 새로운 기능을 프로토타이핑하기 어렵게 만듭니다.
How it works
모듈식 아키텍처 대신 CleanRL 은 DRL 알고리즘의 고품질 단일 파일 구현을 제공합니다. 특정 알고리즘 변형의 모든 세부 사항이 독립적인 Python 파일 하나에 포함됩니다. 이 접근 방식은 코드 재사용보다 가독성과 투명성을 우선시하여 사용자가 여러 모듈을 오가며 구현을 파악할 필요 없이 알고리즘이 정확히 어떻게 구현되는지 확인할 수 있게 합니다.
Who it’s for
RL 알고리즘의 내부 작동 방식을 이해하고 싶거나 표준 모듈식 라이브러리에서 지원되지 않는 고급 기능을 프로토타이핑하려는 연구자와 개발자를 위해 설계되었습니다.
Highlights
- Single-file implementation: 각 알고리즘 변형이 하나의 파일에 포함되어 읽기 쉽고 디버깅이 용이합니다.
- Benchmarked results: 34개 이상의 게임에서 7개 이상의 알고리즘에 대한 벤치마크 결과를 포함합니다.
- Experiment tracking: Tensorboard 및 Weights and Biases와 통합되어 로깅 및 관리가 가능합니다.
- Cloud ready: Docker와 AWS Batch를 지원하여 실험을 수천 번 실행하도록 확장할 수 있습니다.
- Broad algorithm support: PPO, DQN, C51, SAC, DDPG, TD3, PPG, RND를 구현합니다.