araffin/sbx

해결하는 문제

SBX는 Jax 프레임워크를 사용하여 Stable-Baselines3(SB3)의 프로토타입 구현입니다. 성능 최적화된 신뢰할 수 있는 강화학습(RL) 알고리즘 세트를 제공하며, SB3 API와 호환되어 PyTorch 기반 SB3와 Jax 기반 SBX 간에 고수준 코드 구조를 변경하지 않고 전환할 수 있습니다.

작동 방식

SB3 알고리즘을 Jax로 재작성함으로써 Jax의 하드웨어 가속 및 함수형 프로그래밍 모델의 이점을 활용합니다. PPO, DQN, SAC, TD3, TQC 등의 주요 RL 알고리즘을 포함하고 있으며, DroQ 및 SimBa와 같은 특수한 구성도 지원합니다. SB3와의 API 호환성을 유지하므로 RL Zoo와 같은 기존 도구에 통합하여 학습 및 평가에 사용할 수 있습니다.

대상 사용자

Jax의 성능 이점을 누리면서도 Stable-Baselines3와 동일한 사용자 친화적인 API를 유지하고 싶은 강화학습 연구자 및 개발자.

주요 특징

• SB3 API 호환성: RL Zoo 및 기타 SB3 호환 도구와 원활하게 통합 가능.
• 세부적인 알고리즘 세트: Soft Actor-Critic(SAC), Proximal Policy Optimization(PPO), Deep Q Network(DQN) 등 다양한 알고리즘 포함.
• Jax 기반: 계산 효율성을 높이기 위해 Jax 기반으로 구현.
• 고급 RL 기법: 오프폴리시 알고리즘을 위한 파라미터 리셋 및 SimBa와 같은 특수 아키텍처 지원.