verl-project/verl-recipe

What is verl‑recipe?

verl‑recipe 는 VeRL 라이브러리(https://github.com/verl-project/verl)용 레시피 — 미리 준비된 예제 프로젝트 및 설정 — 를 묶어 제공하는 보조 리포지토리입니다. VeRL은 대규모 언어 모델(LLM)을 활용한 강화학습(RL) 연구를 위한 오픈소스 프레임워크입니다. 각 레시피는 특정 RL 기법, 벤치마크, 또는 통합(예: LLM을 통한 도구 사용, 싱글스트림 정책 최적화, LangGraph를 활용한 다단계 수학 문제 해결 등)을 보여줍니다.

How it works

1. 하위 모듈 통합 — 이 리포지토리는 메인 VeRL 체크아웃(verl/recipe) 내부에 하위 모듈로 추가되는 것을 목적으로 합니다. 이로써 레시피는 테스트된 VeRL 버전과 버전 고정됩니다.
2. 버전 고정 — 각 레시피 디렉터리에는 REQUIRED_VERL.txt 파일이 있으며, 다음 정보를 기록합니다:
   • 상류 VeRL git URL.
   • 레시피가 현재 main 브랜치를 따르는지, 특정 커밋 또는 릴리스 태그에 고정되어 있는지.
   • 일치하는 VeRL 버전을 설치하기 위해 필요한 pip install … 명령어.
   • 롤링 레시피의 경우, 핵심 라이브러리와 레시피 트리 모두가 재현 가능하게 고정되도록 세 개의 커밋 해시를 저장합니다.
3. 한 번에 설치 가능한 설치기 — install_verl.sh 스크립트는 레시피의 REQUIRED_VERL.txt를 읽고 적절한 pip install 또는 git 기반 편집 가능 설치를 자동으로 실행합니다. 모든 레시피 목록을 표시하거나, 실행할 정확한 명령어를 보여주거나, 선택한 레시피를 옵션 플래그(--method git, --option … 등)와 함께 설치할 수 있습니다.
4. 기여 워크플로우 — 레시피를 추가하거나 업데이트할 때 기여자는 REQUIRED_VERL.txt를 새로운 VeRL 버전에 맞게 업데이트해야 합니다. 리포지토리는 코드 정리 유지용으로 pre‑commit과 ruff 린터를 사용합니다.

What you can do with it

• LLM에서 최신 RL 실험을, 세팅을 처음부터 구축하지 않고 실행할 수 있습니다. 예를 들어:
  • retool – LLM에서 전략적 도구 사용을 위한 RL.
  • langgraph_agent – 다단계 수학 표현을 처리하는 작은 LangGraph ReactAgent.
  • spo – Single‑stream Policy Optimization (arXiv:2509.13232)의 구현.
  • partial_rollout – GPU 대기 시간을 줄이기 위한 롤아웃 중단/재개를 포함한 동기식 RL (APRIL 스타일).
  • verl_tinker – VeRL 액터를 HTTP 서버로 노출하여 Tinker 쿠킹북 클라이언트와 함께 사용 가능.
• 레시피에서 정의된 옵션을 선택하여 연구 변형을 실험할 수 있습니다 (예: DAPO 또는 FlowRL에 대한 논문별 체크포인트).
• 각 레시피가 정확한 VeRL 커밋과 의존하는 보조 하위 모듈 커밋을 고정하고 있으므로, 출판된 결과를 재현할 수 있습니다.

Who is it for?

• LLM을 위한 강화학습에 종사하는 연구자 및 엔지니어로, 재현 가능한 커뮤니티 검증된 시작점이 필요한 사람.
• 언어 모델에 고급 RL 방법을 적용한 구체적인 예를 찾는 학생.
• 이미 VeRL을 사용하는 개발자로, 새로운 실험 설정을 빠르게 추가하고 싶은 사람.

Getting started (quick steps)

# VeRL을 클론하고 레시피를 하위 모듈로 가져오기
git clone https://github.com/verl-project/verl.git
cd verl
git submodule update --init --recursive recipe

# 사용 가능한 레시피 목록과 고정된 설치 명령어 보기
./recipe/install_verl.sh --list

# 특정 레시피 설치 예: "retool" RL 도구 사용 예제
./recipe/install_verl.sh --recipe retool

스크립트는 실행할 pip install 명령어를 정확히 표시하며, --show를 추가하면 드라이런을, --yes를 추가하면 확인을 건너뛸 수 있습니다.

---

요약하면: verl‑recipe는 VeRL 라이브러리와 함께 존재하는 재현 가능한 LLM용 RL 예제의 큐레이션된 컬렉션으로, 라이브러리와 레시피를 완벽하게 동기화하는 도구를 제공합니다.