PaddlePaddle/PARL

해결하는 문제

PARL은 강화 학습(RL)을 위한 유연하고 효율적인 프레임워크를 제공하여, 재현 가능한 알고리즘 구현과 멀티 GPU 및 CPU 클러스터와 같은 대규모 컴퓨팅 자원에서의 학습 확장 문제를 해결합니다.

작동 방식

이 프레임워크는 RL 프로세스를 구성하기 위해 세 가지 주요 추상화를 사용합니다:

• Model: 순방향 네트워크(정책 또는 크리틱 네트워크)를 정의합니다.
• Algorithm: 모델 파라미터를 업데이트하는 메커니즘을 관리합니다.
• Agent: 데이터 브리지 역할을 하며, 환경과 알고리즘 간의 I/O 및 전처리를 처리합니다.

확장을 위해 PARL은 데코레이터 기반 API(@parl.remote_class)와 연결 메서드(parl.connect)를 사용하여 연산을 원격 CPU나 머신으로 오프로드함으로써, 사용자가 마치 멀티스레드 코드를 작성하듯이 분산 코드를 작성할 수 있게 합니다.

대상 사용자

CartPole과 같은 간단한 문제부터 자율 주행 시뮬레이션과 같은 고급 애플리케이션에 이르기까지, 복잡한 작업을 위한 RL 에이전트를 구축하는 연구자와 개발자를 위해 설계되었습니다.

주요 특징

• 재현성: 영향력 있는 많은 RL 알고리즘 구현을 포함합니다.
• 대규모: 수천 개의 CPU와 여러 GPU에 걸친 고성능 병렬화를 지원합니다.
• 재사용성: 새로운 순방향 네트워크를 정의하는 것만으로 알고리즘을 새로운 작업에 적용할 수 있습니다.
• 확장성: 추상 기본 클래스를 상속하여 새로운 알고리즘을 빠르게 생성할 수 있습니다.
• 분산 학습: 간결한 API를 통해 병렬 버전 코드로의 전환을 단순화합니다.