Hugging Face Hub RL 환경 통합
Hugging Face는 RL 환경을 Hub에 통합하여 에이전트 AI 시스템을 학습하고 평가하는 데 사용되는 작업 세트(tasksets)를 호스팅, 검색 및 버전 관리하기 위한 중앙 집중식 시스템을 제공합니다. 이러한 움직임은 환경을 데이터, 구체적으로는 표준 데이터셋 저장소 내에 호스팅되는 작업 세트 및 런타임으로 취급함으로써 파편화된 환경 레지스트리에 대한 의존성을 제거하는 것을 목표로 합니다.
RL 환경 검색 중앙화
Hugging Face Hub는 이제 RL 환경 필터(huggingface.co/datasets?other=rl-environment)를 제공하여 사용자가 기본 프레임워크에 관계없이 RL 환경으로 태그된 모든 데이터셋을 찾을 수 있도록 합니다. 환경 파일을 위해 데이터셋 저장소를 활용함으로써, Hub는 버전 관리, 게이팅 및 데이터 제공을 위한 기존 인프라를 활용하여 별도의 환경 레지스트리가 필요하지 않게 합니다.
프레임워크 호환성 및 태그 지정
사용 편의성을 높이기 위해 Hugging Face는 4개의 초기 환경 프레임워크를 데이터셋 라이브러리로 등록했습니다. 데이터셋에 이러한 프레임워크 중 하나가 태그되면 Hub는 해당 프레임워크의 아이콘을 표시하고 특정 도구에 대한 "Use this dataset" 명령 스니펫을 생성합니다.
| 태그 | 프레임워크 |
|---|---|
harbor |
Harbor |
verifiers |
Verifiers |
openenv |
OpenEnv |
nemo-gym |
NeMo Gym |
데이터셋이 여러 런타임과 호환되는 경우 여러 프레임워크 태그를 가질 수 있으므로 호환성이 독점적이지 않음을 보장합니다.
기술적 구현 및 실행
Hub의 RL 환경은 작업 세트(데이터)와 런타임(실행 엔진)으로 나뉩니다. Hub는 작업 데이터를 호스팅하고, 런타임 구성 및 검증기(verifier) 코드는 저장소 내부 또는 프레임워크 자체 내에 상주합니다.
실행 워크플로우
- Harbor: Hub 저장소에서 작업 디렉토리를 로드합니다. 오라클 에이전트가 참조 솔루션을 실행하고 검증기가 결과를 채점합니다.
- Verifiers: 동일한 작업 디렉토리를 다양한 런타임(예: Docker)에서 실행할 수 있으며, 최소한의 bash 하네스와 같은 다양한 하네스를 지원합니다.
- OpenEnv: Harbor 통합을 사용하여 에이전트(예: OpenCode)와 함께 작업 디렉토리를 실행하고 에이전트의 추적과 함께 검증기의 보상을 반환합니다.
- NeMo Gym: 궤적을 수집하고 보상을 계산하여 평가 및 RL 학습을 모두 지원하며, 구조화된 출력에서 스키마 준수에 대한 보상 등을 제공합니다.
클라우드 워크로드의 경우 Hugging Face Jobs를 사용하여 실행할 수 있으며, Hugging Face Sandboxes(Jobs 기반)는 대화형 명령 실행을 제공합니다.
사용 가능한 환경
지원되는 프레임워크 전반에 걸친 PR을 통해 여러 환경이 이미 Hub에 통합되었습니다:
- Harbor: BeyondSWE, Terminal-Lego, Harbor-Mix, NatureBench가 포함됩니다.
- Verifiers: Reverse-Text-RL, Multi-SWE-RL-Verified, R2E-Gym-Subset-Verified, Scale-SWE-Verified가 포함됩니다.
- NeMo Gym: Workplace Assistant, Structured Outputs, CFBench, SysBench가 포함됩니다.
향후 로드맵
RL 환경 통합에 대한 향후 업데이트는 다음과 같습니다:
- 구성별 스니펫: 여러 작업 세트를 포함하는 저장소에 대한 특정 명령 생성.
- 구조 감지: 엄격한 레이아웃 요구 사항이 있는 프레임워크에 대한 자동 감지 구현.
- 사용자 지정 작업 UI: 작업과 상호 작용하기 위한 특수 사용자 인터페이스 개발.
- 자동 태그 지정: 프레임워크 관리자가 업로드 경로에 태그 지정을 통합하도록 장려하여 게시된 모든 환경이 Hub에서 자동으로 표시되도록 함.