ai4co/rl4co

해결하는 문제

RL4CO는 강화 학습(RL)을 조합 최적화(CO) 문제에 적용하기 위한 통합 벤치마크와 프레임워크를 제공합니다. RL 기반 CO 알고리즘의 과학적 연구를 구현의 엔지니어링 부담에서 분리하여 재현 가능한 연구를 촉진하는 것을 목표로 합니다.

작동 방식

이 프레임워크는 PyTorch, TorchRL, TensorDict, PyTorch Lightning 및 Hydra 위에 구축되어 최적화 문제를 해결하기 위한 모듈식 구성 요소를 제공합니다. 세 가지 주요 유형의 정책을 지원합니다:

• 구성적 정책: 처음부터 솔루션을 구축합니다. 여기에는 단계별로 솔루션을 구축하는 자기회귀(AR) 정책과 구축을 안내하는 휴리스틱(예: 히트맵)을 예측하는 비자기회귀(NAR) 정책이 포함됩니다.
• 개선 정책: 기존 솔루션을 개선하고 향상시키는 데 중점을 둡니다.

대상 사용자

AI 기반 조합 최적화에 종사하는 연구자와 개발자, 특히 강화 학습을 사용하여 복잡한 라우팅 또는 일정 문제를 해결하는 사람들을 대상으로 합니다.

주요 특징

• 통합 프레임워크: 여러 RL 라이브러리를 통합하여 CO 벤치마크를 위한 표준화된 환경을 제공합니다.
• 모듈식 설계: 환경 임베딩과 같은 재사용 가능한 구성 요소를 갖추고 있어 새로운 문제를 해결하기 위해 쉽게 교체할 수 있습니다.
• 유연한 정책: 구성적(AR 및 NAR) 및 개선 기반 RL 정책을 모두 지원합니다.
• 고성능: TorchRL을 통한 GPU 벡터화 환경과 PyTorch Lightning을 통한 고성능 훈련 래퍼를 활용합니다.