huggingface/Repo2RLEnv

Repo2RLEnv – 코드 리포지토리를 검증 가능한 RL 작업으로 전환하기

무엇인가요 – Repo2RLEnv는 기존 소프트웨어 아티팩트(병합된 풀 리퀘스트, 커밋 기록, CVE 패치, 터미널 기록 등)에서 자동으로 Harbor 강화학습 환경을 생성하는 Python 라이브러리(및 CLI)입니다. 생성된 각 작업은 지시사항, 시작 컨테이너, 개인 검증기(보상 함수), 참조 솔루션을 포함합니다. 작업은 오픈소스 Harbor 작업 형식을 따르므로, 어떤 Harbor 호환 에이전트라도 이를 기반으로 훈련하거나 평가할 수 있습니다.

왜 중요한가요 – 코드 생성 에이전트(예: 코드 완성, 버그 수정, 코드 생성 모델)를 훈련시키기 위해서는 수천 개의 현실적인 프로그래밍 문제와 자동으로 성공 여부를 확인할 수 있는 방법이 필요합니다. 수동으로 이러한 환경을 구축하는 것은 느리고 실수하기 쉬운 작업입니다. Repo2RLEnv는 실제 개발 데이터를 수집하여 즉시 사용 가능한 RL 환경으로 변환함으로써, 고품질 벤치마크를 만드는 비용을 크게 낮춥니다.

주요 기능

• 23개의 생성기 – 리포지토리 수리, 구현, 패치 재현, 터미널 상태 작업, 순수 추론/최적화 문제를 커버합니다.
• 21개의 공개 데이터셋 (약 1,930개 작업)이 Hugging Face Hub에 있으며, 다운로드 가능합니다.
• Tasksmith – LangGraph 오케스트레이션과 원격 워커(Modal 또는 Daytona)를 사용해 PR에서 자동으로 새로운 작업을 생성할 수 있는 에이전트입니다.
• Harbor 호환성 – harbor CLI를 통해 어떤 Harbor 에이전트와도 작업을 실행, 검토, 공유할 수 있습니다.
• LLM 키 없이 빠른 시작 – Python 3.12+와 GitHub CLI만으로 로컬에서 실행 가능한 가장 간단한 파이프라인입니다.

일반적인 워크플로우

1. 생성 – 리포지토리(예: pallets/click의 최신 PR)에서 작업 세트를 생성합니다.
2. 검증 – 내장된 오라클로 로컬에서 작업을 검증하여 참조 솔루션이 1.0의 점수를 얻는지 확인합니다.
3. 실행 – harbor run을 사용해 에이전트(예: Claude‑Sonnet)를 작업에 대해 실행합니다.
4. 공개 – 단일 명령어로 생성한 작업을 Hub에 자체적으로 공개합니다.

설치

# 핵심 라이브러리 및 CLI
pip install repo2rlenv

# Harbor 지원 추가 (작업 실행/검토에 필요)
pip install 'repo2rlenv[harbor]'

# Tasksmith를 원격 워커(Modal/Daytona)에서 사용하는 전체 스택
pip install 'repo2rlenv[tasksmith,daytona,harbor]'

빠른 시작 (약 5분 내에 실행, Docker 없음, LLM API 키 없음)

pip install 'repo2rlenv[harbor]'
gh auth login

# click 라이브러리에서 3개의 PR 차이 작업 생성
repo2rlenv generate --repo pallets/click \
  --pipeline pr_diff --pipeline-opt limit=3 --out ./tasks

# 올바른지 검증
repo2rlenv validate ./tasks --oracle

# 에이전트 훈련/평가 (예: Anthropic Claude)
harbor run -p ./tasks -a claude-code \
  -m anthropic/claude-sonnet-4-6 \
  --ae ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY --env docker

Tasksmith의 핵심 – 병합된 PR과 코드 에이전트를 Tasksmith에 지정하면 다음과 같은 작업을 수행합니다:

1. 변경 사항과 리포지토리 컨텍스트 분석.
2. 원격 컨테이너에서 리포지토리 실행.
3. 지시사항과 개인 검증기 초안 작성.
4. 모든 것을 Harbor 작업으로 패키징.
5. 작업이 모든 제어 조건을 통과할 때까지 검토 및 수정 루프를 반복합니다.

더 자세히 알고 싶다면

• 문서 및 가이드 – https://huggingface.github.io/Repo2RLEnv/
• 데이터셋 – https://huggingface.co/collections/FineEnvs/repo2rlenv-verifiable-rl-environments-6aa82300d7494c050f50508d
• 소스 코드 – https://github.com/huggingface/Repo2RLEnv
• 라이선스 – 라이브러리: Apache‑2.0, 포함된 연구 레시피: MIT (배포: Apache-2.0 AND MIT).

누가 사용해야 할까요

• 코드 생성, 버그 수정, 소프트웨어 공학 에이전트를 구축하거나 평가하는 연구자.
• 자체 코드베이스에서 맞춤형 RL 벤치마크를 만들고 싶은 팀.
• 대규모로 자동 검증 가능한 프로그래밍 환경에 관심 있는 누구나.