redai-studio/Relax

An Asynchronous Reinforcement Learning Engine for Omni-Modal Post-Training at Scale

Relax – 옴니모달 LLM을 위한 비동기 강화학습 엔진

무엇인가 – Relax(Reinforcement Engine Leveraging Agentic X-modality)는 대규모 멀티모달 언어 모델(텍스트 + 비전 + 오디오)을 강화학습으로 대규모로 미세 조정할 수 있는 오픈소스 프레임워크입니다. 서비스 지향적이고 내결함성 있는 배포를 위해 Ray Serve 위에 구축되었으며, 학습 백엔드로 Megatron-LM을, 고처리량 추론을 위해 SGLang을 사용합니다. 사용자 정의 TransferQueue는 롤아웃(추론)과 학습을 분리하여 독립적인 GPU 클러스터에서 실행할 수 있는 완전 비동기 파이프라인을 가능하게 합니다.

핵심 하이라이트 (README 발췌)

옴니모달 RL – 단일 프레임워크가 단일 학습 루프에서 텍스트, 이미지, 비디오, 오디오를 처리합니다(예: Qwen3-Omni).
6계층 서비스 아키텍처 – 모든 구성 요소(actor, rollout, critic 등)가 별도의 Ray Serve 배포로 제공되어 네이티브 탄력적 스케줄링과 자동 복구를 제공합니다.
세 가지 실행 모드 –
1. 코로케이트(동기) – actor와 rollout이 GPU를 공유(메모리 효율적).
2. 완전 비동기 – 각 역할이 자체 GPU 클러스터에서 실행되며 TransferQueue를 통해 통신하여 최대 처리량 달성.
3. 하이브리드 – rollout과 actor는 분리되지만 참조/이점 계산은 프로세스 내에 유지되어 속도와 리소스 사용의 균형을 맞춥니다.
풍부한 알고리즘 모음 – PPO, GRPO, M2PO, RLOO, REINFORCE++(및 변형), GSPO, SAPO, CISPO, 그리고 온폴리시 증류.
탄력적 롤아웃 스케일링 – HTTP REST API를 통해 학습 중간에 추론 엔진을 추가하거나 제거할 수 있으며 루프를 중단하지 않고 동일 클러스터와 교차 클러스터 연합을 모두 지원합니다.
프로덕션급 운영 – 자동 복구 기능이 있는 상태 관리자, 중앙 집중식 메트릭(WandB / TensorBoard / ClearML), Apprise를 통한 실시간 알림.
모델 지원 – Megatron-LM 모델용으로 설계: Qwen-3 시리즈, GLM-5, Kimi-K2/K3, 사용자 정의 HuggingFace 체크포인트.
보상 허브 – 수학, 시각 QA, 다중 선택을 위한 내장 보상 함수와 "GenRM" LLM-as-judge 모드; 사용자 정의 보상은 relax/engine/rewards/에 파일을 넣으면 추가됩니다.

일반적인 워크플로우 (빠른 시작 스타일)

데이터 및 모델 준비 – HuggingFace 데이터셋과 Megatron 호환 체크포인트(예: Qwen-3-4B)를 다운로드합니다.
Docker 이미지 실행 – 공식 이미지(ghcr.io/redai-studio/relaxrl:latest)에는 CUDA, PyTorch, Megatron-LM, SGLang, Ray가 사전 설치되어 있습니다.
스크립트 실행 – 한 줄 bash 스크립트로 세 가지 모드 중 하나에서 전체 RL 작업을 시작합니다. 8개 GPU에서 텍스트 전용 PPO 예시:
```
export EXP_DIR=/root
bash scripts/training/text/run-qwen3-4B-8xgpu.sh
```
모니터링 – 로그는 콘솔에 표시되고 메트릭은 구성된 서비스(WandB/TensorBoard)로 스트리밍됩니다.
체크포인트 및 내보내기 – 체크포인트는 Megatron DCP 형식으로 저장되며 변환 스크립트를 통해 HuggingFace 가중치로 변환하여 다운스트림에서 사용할 수 있습니다.

설치

# 사전 빌드된 컨테이너 가져오기 (모든 종속성 포함)
docker pull ghcr.io/redai-studio/relaxrl:latest

# GPU 액세스로 실행하고 워크스페이스 마운트
docker run -it --gpus all --ipc=host --network=host \
  -v /path/to/workspace:/root ghcr.io/redai-studio/relaxrl:latest bash

# 컨테이너 내에서 저장소를 복제하고 편집 가능 모드로 설치
git clone https://github.com/redai-studio/Relax.git /root/Relax
cd /root/Relax && pip install -e .

README에는 다중 노드 클러스터와 드라이버 요구 사항에 대한 자세한 설치 가이드도 제공됩니다.

누가 Relax를 사용할까요?

연구 실험실 – 차세대 멀티모달 LLM을 구축하며 RL 기반 정렬(예: 시각 QA, 오디오-비주얼 에이전트)이 필요한 곳.
산업 AI 팀 – 많은 GPU 노드로 확장할 수 있는 프로덕션급 내결함성 RL 파이프라인을 원하는 곳.
개발자 – 저수준 분산 코드를 작성하지 않고 대규모 MoE 모델에서 고급 RL 알고리즘(M2PO, RLOO, REINFORCE++)을 실험하려는 사람.

더 알아보기

문서 사이트 – https://redai-studio.github.io/Relax (이중 언어, 전체 아키텍처, 학습 가이드, API 참조).
논문 – arXiv 링크 2604.11554 (배지에 링크됨).
토론 채널 – WeChat QR 배지, Docker 이미지 배지, GitHub Discussions 커뮤니티 도움말.

결론

Relax는 대규모 멀티모달 LLM과 강화학습 기반 미세 조정 사이의 간극을 메우는 풀스택 비동기 RL 플랫폼입니다. 서비스 지향 설계, 광범위한 알고리즘 지원, 탄력적 롤아웃 기능을 갖추어 대규모 옴니모달 RL을 위한 가장 완전한 오픈소스 솔루션 중 하나입니다.