Stable-Baselines3 Hugging Face Hub 통합

Hugging Face는 Stable-Baselines3를 Hugging Face Hub에 통합하여 연구자와 애호가들이 PyTorch Deep Reinforcement Learning (DRL) 모델을 호스팅하고 로드할 수 있도록 했습니다. 이 통합을 통해 Gym, Atari, MuJoco, Procgen과 같은 환경에서 학습된 사전 학습된 에이전트를 공유하는 프로세스가 간소화됩니다.

모델 호스팅 및 배포

이 통합을 통해 사용자는 Hub를 통해 저장된 Stable-Baselines3 모델을 발견하고 공유할 수 있습니다. 사용자는 Hugging Face Hub에서 stable-baselines3를 필터링하여 커뮤니티에서 기여한 모델을 찾을 수 있습니다.

Hub에서 모델 다운로드하기

Hub에서 저장된 모델을 Stable-Baselines3로 로드하려면 사용자는 huggingface_hub 및 huggingface_sb3 라이브러리를 설치해야 합니다. 이 프로세스에는 저장소 ID (repo-id)와 해당 저장소 내 모델 zip 파일의 특정 파일명이 필요합니다.

모델 로드 예시 워크플로우:

1. 종속성 설치: pip install huggingface_hub huggingface_sb3.
2. huggingface_sb3 라이브러리의 load_from_hub를 사용하여 체크포인트를 가져옵니다.
3. 체크포인트를 Stable-Baselines3 에이전트에 로드합니다 (예: PPO.load(checkpoint) 사용).

Hub로 모델 공유하기

사용자는 huggingface-cli login 또는 Jupyter/Colab 환경을 위한 notebook_login()을 통해 먼저 인증을 거친 후, 학습된 에이전트를 Hub에 업로드할 수 있습니다. 인증이 완료되면, huggingface_sb3 라이브러리의 push_to_hub 함수를 사용하여 저장된 모델 zip 파일을 지정된 저장소 ID로 업로드합니다.

향후 로드맵

Hugging Face는 다음과 같은 이니셔티브를 통해 Hub 상의 Deep Reinforcement Learning 생태계를 확장할 계획입니다:

• Library Integrations: RL-baselines3-zoo 및 기타 Deep Reinforcement Learning 라이브러리를 통합합니다.
• Model Collections: rl-trained-agents 컬렉션에서 사전 학습된 에이전트를 업로드합니다.
• Algorithm Implementation: Decision Transformers를 구현합니다.

기술적 구현

이 통합은 라이브러리 지원에 필요한 API와 위젯을 제공하는 huggingface_hub 라이브러리를 통해 가능해졌습니다. Hugging Face는 자신의 도구를 Hub와 통합하고자 하는 다른 라이브러리 유지 관리자들을 위해 가이드를 제공합니다.