facebookresearch/Pearl

해결하는 문제

Pearl은 복잡한 현실 세계 환경에서 작동할 수 있는 생산 환경 대응 강화 학습(RL) AI 에이전트를 개발하기 위한 프로덕션 준비 완료 프레임워크를 제공합니다. 관측 제한, 희소한 피드백, 높은 확률적 변동성, 즉각적인 이익보다 장기 누적 보상 우선 고려의 필요성과 같은 도전 과제를 특별히 해결합니다.

작동 방식

Pearl은 연구자와 실무자가 다양한 RL 구성 요소를 자유롭게 조합하여 맞춤형 에이전트를 구축할 수 있도록 모듈식 설계를 사용합니다. 정책 학습, 지능적인 신경 탐색, 리플레이 버퍼 등의 다양한 기능을 통합합니다. 이 라이브러리는 컨텍스트 밴디트에서 순차적 의사결정에 이르기까지 다양한 RL 패러다임을 지원하며, 안전성 제약 및 이력 요약을 위한 전용 모듈도 포함합니다.

대상 사용자

레코멘더 시스템, 입찰 시스템, 창의적 콘텐츠 선택과 같은 생산 환경용 RL 에이전트를 개발하는 산업 실무자 및 학계 연구자에게 적합합니다.

주요 특징

• 모듈식 아키텍처: 특정 사용 사례에 맞게 기능을 유연하게 조합하여 에이전트를 맞춤화 가능.
• 생산 환경 대응 기능: 동적 액션 공간, 오프라인 학습, 안전한 의사결정 지원.
• 고급 탐색: 복잡한 환경을 처리하기 위한 지능적인 신경 탐색 포함.
• 직렬화: 컴포넌트는 PyTorch와 호환되는 상태 사전(state dicts)을 생성하여 저장 및 로드가 용이.