Eclectic-Sheep/sheeprl

해결하는 문제

SheepRL은 간단하고 확장 가능한 강화학습(RL) 프레임워크로, PyTorch 기반입니다. 일반적으로 RL 알고리즘은 환경에 강하게 결합되어 있어 OpenAI Gym과 같은 표준 인터페이스를 넘어서는 확장성이 제한되는 문제가 있습니다. SheepRL은 알고리즘과 환경을 쉽게 분리할 수 있도록 하여, 더 넓은 범위의 환경 설정과 호환 가능하게 합니다.

작동 방식

이 프레임워크는 Lightning Fabric을 사용하여 다양한 하드웨어 구성에서 학습을 가속화합니다. PPO, SAC, Dreamer V1-V3 등 다양한 관측 유형(벡터 및 픽셀)과 액션 공간(연속형, 이산형, 다중 이산형)을 지원하는 사전 구현 알고리즘을 제공합니다. Atari, Mujoco, MineRL, Crafter 등 다양한 환경용 내장 래퍼도 포함되어 있습니다.

대상 사용자

다양한 알고리즘과 Dreamer 스타일의 월드 모델을 지원하며, 사용자 고유의 커스텀 환경을 사용하고 싶은 강화학습 개발자 및 연구자에게 적합합니다.

주요 특징

• 확장 가능한 가속화: Lightning Fabric 기반으로 멀티 디바이스 및 멀티 노드 학습이 간편합니다.
• 광범위한 알고리즘 지원: PPO, SAC, A2C, DroQ, Dreamer 시리즈(V1, V2, V3)의 구현 포함.
• 환경 유연성: Classic Control, Box2D, Atari, DeepMind Control, Minecraft 기반 환경(MineRL, MineDojo) 등 다양한 환경을 지원합니다.
• 분리된 아키텍처: RL 에이전트와 환경 인터페이스를 명확히 분리하도록 설계되었습니다.
• 통합 평가 기능: 체크포인트에서 학습된 에이전트를 테스트할 수 있는 전용 평가 도구(sheeprl-eval)가 포함되어 있습니다.