Shmuma/ptan

PTAN – PyTorch AgentNet

설명 – PTAN은 PyTorch를 사용하는 강화학습(RL) 에이전트를 위해 AgentNet 프레임워크를 재구현한 경량 Python 라이브러리입니다. Deep Reinforcement Learning Hands-On 도서에서 사용된 헬퍼 클래스(예: 경험 버퍼, 학습 루프)를 제공합니다.

주요 구성 요소

• ExperienceSource 및 ExperienceSourceFirstLast – OpenAI-Gym 환경에서 궤적을 수집하기 위한 유틸리티.
• PyTorch Ignite와의 통합을 통한 간편한 학습 루프 구현.
• 선택적 TensorBoardX 로깅 및 OpenCV 시각화 지원.

지원 환경 – OpenAI Gym과 호환되는 모든 환경(Atari 게임 gym[atari] 포함).

설치

# PyPI에서 설치 (권장)
pip install ptan

# 또는 저장소에서 직접 설치
pip install git+https://github.com/Shmuma/ptan.git

# 소스에서 설치
python setup.py install

의존성 (README에 명시된 내용)

• PyTorch ≥ 1.1.0 (master 브랜치에서 1.7까지 테스트됨)
• PyTorch-Ignite
• OpenAI Gym (선택적 atari 추가 패키지 포함)
• opencv-python
• tensorboardX (Anaconda 사용자의 경우 tensorboard-pytorch)

버전 관리 – 저장소는 PyTorch의 주요 버전에 따라 별도의 브랜치를 유지합니다:

• master – 최신 테스트 완료된 PyTorch (현재 1.7)
• torch-1.3-book-ed2 – 2판 도서와 일치하는 코드, PyTorch 1.3용으로 빌드됨
• torch-1.7 – master에 병합됨

문서 – Jupyter notebook 입문 가이드가 docs/intro.ipynb에 제공됩니다. experience-source 유틸리티에 대한 자세한 내용은 README에 링크된 이슈 댓글을 참조하십시오.

일반적인 워크플로우 (README에서 유추한 상위 수준 흐름)

1. 라이브러리 및 의존성 설치.
2. Gym 환경 생성.
3. ExperienceSource를 사용하여 (state, action, reward, next_state) 튜플 배치 생성.
4. 해당 배치를 Ignite 트레이너 내의 PyTorch 모델에 공급.
5. TensorBoardX로 메트릭 기록.

대상 사용자 – 보일러플레이트 코드 작성 없이 PyTorch에서 강화학습 에이전트를 구축하고 학습하기 위한 준비된 스캐폴딩을 원하는 개발자 및 연구자.