Tencent-Hunyuan/UniRL

UniRL – 통합 멀티모달 모델을 위한 강화 학습

개요 – UniRL은 연구자와 엔지니어가 다양한 멀티모달 생성 모델(텍스트‑이미지, 텍스트‑비디오, 비전‑언어, 대규모 언어 모델, 그리고 자기회귀 및 확산 구성 요소를 결합한 "통합" 모델)에 단일 강화 학습(RL) 루프를 적용할 수 있게 해주는 오픈소스 Python 프레임워크입니다. 이 루프는 고전적인 RL 사후 훈련 주기입니다: 샘플 생성, 보상 서비스로 점수 계산, 이점 계산, 정책 업데이트, 새 가중치를 롤아웃 워커에 다시 동기화.

핵심 아이디어

• 계층적이고 구성 가능한 아키텍처 – 진입점은 Hydra 구성에 의해 구동되며 다음을 연결하는 트레이너를 인스턴스화합니다:
  • 롤아웃 엔진 (vLLM‑Omni, SGLang 등)
  • RL 알고리즘 (GRPO와 같은 표준 및 Flow‑DPPO, DRPO, CPPO와 같은 팀 제안)
  • 모델 번들 (확산, AR, 통합 모델)
  • 보상 서비스 (외부 스코어러)
  • 분산 런타임 (Ray DevicePool, FSDP, LoRA/전체 가중치 동기화)
• 다중 훈련 모드 – 확산 RL, 자기회귀(AR) RL, 지도 미세 조정(SFT), 프롬프트 강화, 통합 RL, 에이전트 RL, 그리고 롤아웃과 훈련 워커를 분리하는 비동기 변형.
• 광범위한 모델 지원 – 수십 개의 최첨단 모델(Stable Diffusion 3.5, FLUX.2‑Klein, Qwen‑Image, 다양한 비디오 확산 모델, Qwen‑3 시리즈 LLM/VLM, HunyuanVideo 등)에 대한 실행 준비된 레시피. 각 레시피는 모델, 알고리즘, 롤아웃 백엔드 및 특수 플래그를 선택하는 YAML 구성입니다.
• 팀 제안 알고리즘 – UniRL 팀이 도입한 새로운 RL 방법:
  • Flow‑DPPO – 확산/플로우 모델을 위한 발산 기반 신뢰 영역.
  • DRPO – 토큰 수준 LLM RL을 위한 부드러운 이점 가중 이차 정규화.
  • CPPO – 위치 가중 누적 접두사 신뢰 영역 마스크. 모든 항목에는 단계별 튜토리얼과 실행 가능한 예제가 포함되어 있습니다.

사용 방법

1. 설치 ( INSTALL.md 참조).
2. 레시피를 선택하세요 (예: diffusion/sd3/sd3_trainside.yaml).
3. 진입점을 실행하세요 (예: python -m unirl.train_diffusion --config-name=diffusion/sd3/sd3_trainside).
4. 프레임워크가 롤아웃 워커를 시작하고, 샘플을 생성하고, 점수를 매기고, 모델을 자동으로 업데이트합니다. 멀티 노드 및 GPU 슬랩 구성이 지원됩니다.

대상 독자 – 생성 AI를 위한 RL 기반 미세 조정 파이프라인을 구축하는 연구자, 보상 신호로 멀티모달 모델을 개선하는 통합 방법이 필요한 제품 팀, 그리고 인기 있는 확산 또는 LLM 백엔드 위에서 새로운 알고리즘(Flow‑DPPO, DRPO, CPPO)을 실험하려는 모든 사람.

문서 및 커뮤니티 – 전체 문서는 https://unirl‑project.github.io/unirl/, 중국어 토론을 위한 WeChat 그룹, 그리고 향후 모델/알고리즘 확장을 나열한 로드맵이 있습니다.

라이선스 – Apache‑2.0.