alex-petrenko/sample-factory

해결하는 문제

Sample Factory는 학습 시간과 하드웨어 요구 사항을 최소화하면서 최첨단 성능을 달성하도록 설계된 고처리량 강화 학습(RL) 라이브러리입니다. 정책 경사(Policy Gradient), 특히 근접 정책 최적화(PPO)의 고도로 최적화된 구현을 제공하여 느린 RL 학습 문제를 해결합니다.

작동 방식

이 라이브러리는 학습 처리량을 극대화하기 위해 고도로 최적화된 아키텍처를 사용하며, 동기 및 비동기 학습 방식을 모두 지원합니다. 디버깅을 위한 직렬 모드에서 작동할 수 있으며 CPU 기반 및 GPU 가속 환경 모두에서 최적으로 수행됩니다. 시스템은 액션 및 관측 공간 사양을 기반으로 모델 아키텍처를 자동으로 생성하지만, 사용자 정의 모델 아키텍처 및 사용자 정의 환경도 지원합니다.

대상 사용자

픽셀 기반(VizDoom 등) 및 물리 기반(Mujoco 또는 IsaacGym 등)을 포함한 다양한 환경에서 에이전트를 학습시키기 위해 효율적이고 확장 가능한 RL 프레임워크가 필요한 연구원 및 실무자.

주요 특징

• 고처리량: 최대 학습 속도와 최소 하드웨어 오버헤드를 위해 최적화되었습니다.
• 유연한 학습: 동기, 비동기 및 직렬 학습 모드를 지원합니다.
• 광범위한 호환성: 이산, 연속 및 하이브리드 액션 공간뿐만 아니라 벡터 기반, 이미지 기반 및 사전 기반 관측 공간과 함께 작동합니다.
• 고급 RL 기능: 단일 및 다중 에이전트 학습, 셀프 플레이, 모집단 기반 학습(PBT) 및 다중 정책 학습에 대한 지원이 포함되어 있습니다.
• 통합: 모델 공유를 위해 HuggingFace와 통합되어 있으며 WandB 및 Tensorboard를 통한 상세한 모니터링을 제공합니다.