agi-brain/xuance

해결하는 문제

딥 강화 학습(DRL) 알고리즘은 하이퍼파라미터에 민감하고 학습 과정이 불안정하기 때문에 구현하고 튜닝하기 어려운 경우가 많습니다. XuanCe는 이러한 '마법 같은' 정책을 더 쉽게 학습하고 사용하며 재현할 수 있도록 통합적이고 고품질이며 모듈화된 DRL 알고리즘 구현 라이브러리를 제공합니다.

작동 방식

XuanCe는 PyTorch, TensorFlow, MindSpore를 포함한 여러 딥러닝 백엔드와 호환되는 포괄적인 DRL 알고리즘 세트입니다. 단일 에이전트 DRL, 다중 에이전트 강화학습(MARL), 모델 기반 RL(MBRL), 대조적 RL(CRL) 등 다양한 작업을 지원합니다. 높은 모듈성 설계로 모델을 유연하게 조합하고 병렬 환경 또는 분산 다중 GPU 환경에서 학습을 실행할 수 있습니다.

대상 사용자

다양한 딥러닝 프레임워크에서 신뢰할 수 있고 표준화된 DRL/MARL 알고리즘 구현이 필요한 강화학습 연구자 및 개발자.

주요 특징

• 다중 백엔드 지원: PyTorch, TensorFlow2, MindSpore와 호환됩니다.
• 풍부한 알고리즘 라이브러리: DQN, PPO, SAC, QMIX, MAPPO, DreamerV3 등 다양한 구현 포함.
• 광범위한 환경 호환성: Classic Control, Box2D, MuJoCo, Atari, Minigrid, Drones, MetaDrive, MPE, Robotic Warehouse, SMAC, Google Research Football 지원.
• 고급 학습 기능: 자동 하이퍼파라미터 튜닝, 다중 GPU 분산 학습, TensorBoard 또는 WandB를 통한 시각화 지원.
• 크로스 플랫폼: Linux, Windows, macOS, EulerOS에서 실행 가능.