verl-project/uni-agent

Uni‑Agent: 장기 지평 에이전트 대규모 훈련

이것이 무엇인가 – Uni‑Agent는 모든 LLM 기반 '에이전트 하네스'(예: Claude Code, Mini‑SWE‑Agent)를 통합 훈련 및 추론 파이프라인에 연결할 수 있는 오픈소스 프레임워크입니다. 에이전트, 도구, 작업, 샌드박스 실행 환경에 대한 추상화를 제공하며, 수천 개의 상태 저장 세션을 병렬로 실행하여 지도 미세 조정(SFT) 또는 강화 학습(RL)을 위한 추적 가능한 궤적을 수집할 수 있습니다.

주요 아이디어

• 게이트웨이 – 프롬프트 문자열을 수신하고 선택한 모델 엔드포인트(OpenAI 또는 Anthropic 호환)로 전달한 후 생성된 토큰을 반환하는 경량 서비스입니다. 기존 하네스를 이 게이트웨이에 연결할 수 있습니다.
• 모듈식 추상화 – Agent, Tool, Task, Sandbox는 분리된 재사용 가능한 구성 요소입니다. 나머지 스택을 건드리지 않고 도구(예: 코드 실행기)나 작업 정의를 교체할 수 있습니다.
• 대규모 동시성 – 분산 워커가 격리된 샌드박스(veFaaS 또는 Modal을 통해)를 시작하고, 게이트웨이 세션을 풀링하며, 비동기 상호작용을 스케줄링합니다. 시스템은 1,000개 이상의 동시 장기 지평 세션을 처리하면서 각 궤적, 로그, 보상을 세션에 연결할 수 있습니다.
• 재현 가능한 레시피 – 저장소에는 바로 실행 가능한 예제 구성, 벤치마크 스크립트, 결과 테이블이 포함되어 있어 직접 숫자를 확인할 수 있습니다.

일반적인 워크플로우

1. 설치 – 라이브러리를 설치합니다(문서에서 colocate_async와 같은 verl 추가 기능을 다룹니다).
2. 샌드박스 시작 – 로컬 또는 클라우드 제공자에서 시작합니다. 샌드박스는 에이전트의 도구 사용과 상태를 격리합니다.
3. 추론 실행 – 게이트웨이를 통해 많은 에이전트를 실행하여 평가 데이터나 벤치마크 점수를 생성합니다.
4. RL로 훈련 – 동일한 상호작용 스택을 강화 학습 루프(GRPO/GSPO 스타일 목표, 부분 롤아웃)에 사용합니다. 예제 훈련 스크립트는 examples/quickstart/training/에 있습니다.

성능 하이라이트 (README에서)

• 병렬 추론 – SWE‑Bench Verified 및 Terminal‑Bench와 같은 벤치마크에서 480B Qwen3‑Coder 모델로 64.2% 점수를 달성합니다.
• RL 개선 – 예를 들어, R2E‑Gym 데이터셋의 ReAct 에이전트는 RL 후 기본 점수 22.2%에서 36.8%로 향상됩니다. 다른 모델/에이전트 조합에서도 유사한 개선이 나타납니다.
• Qwen3.5‑4B RL 실행은 64대의 H100 GPU를 사용했으며 SWE‑Bench Verified에서 50단계에서 최고치를 기록했습니다.

왜 중요한가 – 여러 단계(수백 턴, 100K 토큰 이상)에 걸쳐 계획할 수 있는 에이전트를 훈련하는 것은 계산량이 많습니다. Uni‑Agent는 파이프라인(샌드박스 관리, 비동기 스케줄링, 데이터 수집)을 추상화하여 연구자가 에이전트 로직, 보상 설계, 모델 개선에 집중할 수 있게 합니다.

실행 환경 – 탄력적인 샌드박스 프로비저닝을 위해 veFaaS(Volcengine) 및 Modal과 같은 서버리스 백엔드를 지원하며, 개발을 위해 로컬에서도 실행할 수 있습니다.

시작하기 – 문서에는 설치, 샌드박스 시작, 추론, RL 훈련을 다루는 빠른 시작 가이드가 제공됩니다. 예제 구성은 완전히 실행 가능하며, 로드맵(이슈 #79)에는 향후 기능이 나열되어 있습니다.

라이선스 – Apache 2.0.

---

모든 세부 사항은 저장소의 README에서 직접 가져온 것이며 추가 주장은 없습니다.