VeRL‑Omni

VeRL‑Omni는 확산 기반 이미지/비디오/오디오 생성기 및 옴니모달(텍스트-이미지-오디오-비디오) 모델과 같은 멀티모달 생성 모델에 초점을 맞춘 오픈소스 강화학습(RL) 훈련 프레임워크입니다. verl 라이브러리 위에 구축되었으며 vLLM‑Omni 추론 백엔드와 긴밀하게 통합되어 대규모 모델에 대한 빠르고 안정적이며 확장 가능한 RL 사후 훈련을 제공합니다.

주요 기능

확산 및 옴니모달 생성기(예: Qwen‑Image, SD3.5, Qwen‑3‑Omni, BAGEL, Wan2.2 등)의 RL 기반 미세 조정.
생성 모델에 특화된 다양한 RL 알고리즘 지원: FlowGRPO, Flow‑DPPO, MixGRPO, Diffusion‑OPD, DiffusionNFT, DPO, GSPO, DAPO 등.
배칭, 임베드 캐싱, 라우팅 최적화를 포함한 vLLM‑Omni 백엔드를 통한 고처리량 롤아웃 제공.
비동기 다중 보상 서버(HTTP 스코어러, HPSv3, GenRM‑OCR, UnifiedReward 등)를 제공하여 롤아웃과 보상 계산을 오버랩.
분산 훈련 백엔드(VeOmni, FSDP2) 및 여러 병렬화 전략(USP/TP/DP) 지원.
로그 확률 재계산을 건너뛰는 롤아웃 보정 및 결정적 RL 파이프라인과 같은 안정성 기법 포함.
Ascend NPU(A2, A3, A5) 지원으로 하드웨어 가속 훈련 가능.

사용 대상

RL을 사용하여 확산 모델을 미세 조정하여 이미지/비디오/오디오 품질을 향상시키려는 연구자.
빠르고 안정적인 RL 파이프라인이 필요한 상용 멀티모달 생성 서비스를 구축하는 엔지니어.
온폴리시 증류(DiffusionOPD), 멀티 티처 RL, 또는 옴니모달 모델의 보상 모델 정렬을 실험하려는 팀.

빠른 시작(개요)

설치 – 문서에 따라 pip install verl-omni 또는 소스에서 빌드.
레시피 선택 – 예: Qwen‑Image용 FlowGRPO 레시피는 examples/flowgrpo_trainer/에 있습니다.
설정 – 제공된 Hydra YAML 파일을 편집하여 모델, 데이터셋, 보상 엔드포인트, 병렬화를 설정.
실행 – 트레이너 실행(python -m verl_omni.train ...).
모니터링 – Weights & Biases, TensorBoard 등과 호환되는 로그.

문서 및 리소스

전체 문서: https://verl‑omni.readthedocs.io/en/latest/
설치 가이드: https://verl‑omni.readthedocs.io/en/latest/start/install.html
빠른 시작 튜토리얼: https://verl‑omni.readthedocs.io/en/latest/start/flowgrpo_quickstart.html
알고리즘 세부 사항: FlowGRPO, DiffusionOPD, DAPO 등(docs/algo/ 섹션 참조).
예제 레시피: examples/ 디렉토리(FlowGRPO, DiffusionNFT, GSPO, DAPO 등).
커뮤니티: 슬랙 초대, 위챗 그룹, 지원을 위한 이슈 트래커.

라이선스

Apache 2.0 – 허용적 오픈소스 라이선스.

인용

연구에서 VeRL‑Omni를 사용하는 경우 제공된 BibTeX 항목을 인용하세요.

요약: VeRL‑Omni는 최신 세대의 멀티모달 및 옴니모달 생성 모델을 위한 프로덕션급의 확장 가능한 RL 훈련 스택으로, 속도, 안정성, 하드웨어 유연성을 즉시 제공합니다.

verl-project/verl-omni