verl-project/verl-recipe

해결하는 문제

verl-recipe는 verl (Versatile Reinforcement Learning) 라이브러리를 위해 커뮤니티에서 기여한 레시피를 중앙 집중식으로 관리하고 버전 제어하는 모음입니다. 다양한 강화학습 (RL) 실험에 대한 의존성 및 환경 호환성 관리 문제를 해결하여, 사용자가 버전 충돌 없이 특정 연구 설정을 쉽게 재현할 수 있도록 합니다.

작동 방식

저장소의 각 레시피에는 매니페스트 역할을 하는 REQUIRED_VERL.txt 파일이 포함되어 있습니다. 이 파일은 핵심 verl 라이브러리(git 커밋 해시 또는 릴리스 태그를 통해)와 레시피 자체의 정확한 버전을 고정합니다. 이 프로젝트는 install_verl.sh 스크립트를 제공하며, 이 스크립트는 매니페스트를 읽어 올바른 환경을 자동으로 설정합니다. pip를 통한 설치나 편집 가능한 개발을 위해 verl 소스 코드를 git 서브모듈로 복제하는 방식 모두를 지원합니다.

대상 사용자

이 프로젝트는 강화학습 기술을 사용하여 LLM을 학습시키기 위해 verl 프레임워크를 사용하는 AI 연구원 및 엔지니어를 위한 것입니다. 특히 연구 논문에 문서화된 특정 RL 알고리즘, 에이전트 기반 워크플로우 또는 성능 최적화를 재현해야 하는 사용자에게 유용합니다.

주요 특징

• 재현성: 모든 레시피는 핵심 라이브러리의 호환 버전으로 엄격하게 고정되어 있어 변경 사항으로 인한 오류를 방지합니다.
• 자동화된 설정: install_verl.sh 스크립트는 라이브러리 버전과 특정 연구 구현을 일치시키는 복잡한 과정을 단순화합니다.
• 다양한 구현: Single-stream Policy Optimization (SPO), LangGraph를 사용한 멀티턴 에이전트 롤아웃, GPU 효율적인 부분 롤아웃과 같은 고급 기술을 위한 레시피가 포함되어 있습니다.
• 유연한 배포: 표준 pip 설치와 기본 프레임워크를 수정해야 하는 사용자를 위한 git 기반의 편집 가능한 워크플로우를 모두 지원합니다.