redai-studio/Relax

An Asynchronous Reinforcement Learning Engine for Omni-Modal Post-Training at Scale

Relax – オムニモーダル LLM 向け非同期強化学習エンジン

これは何か – Relax（Reinforcement Engine Leveraging Agentic X-modality）は、大規模なマルチモーダル言語モデル（テキスト + 視覚 + 音声）を強化学習で大規模に微調整できるオープンソースフレームワークです。サービス指向でフォールトトレラントなデプロイのために Ray Serve 上に構築され、トレーニングバックエンドとして Megatron-LM を、高スループット推論のために SGLang を使用します。カスタムの TransferQueue がロールアウト（推論）とトレーニングを分離し、独立した GPU クラスタ上で実行できる完全非同期パイプラインを可能にします。

コアハイライト（README より）

オムニモーダル RL – 単一のフレームワークが単一のトレーニングループでテキスト、画像、動画、音声を処理します（例：Qwen3-Omni）。
6 層サービスアーキテクチャ – すべてのコンポーネント（actor、rollout、critic など）が個別の Ray Serve デプロイメントであり、ネイティブのエラスティックスケジューリングと自動復旧を提供します。
3 つの実行モード –
1. コロケート（同期） – actor と rollout が GPU を共有（メモリ効率が良い）。
2. 完全非同期 – 各ロールが独自の GPU クラスタで実行され、TransferQueue を介して通信し最大スループットを実現。
3. ハイブリッド – rollout と actor は分離されているが、参照/アドバンテージ計算はプロセス内に留まり、速度とリソース使用のバランスを取る。
豊富なアルゴリズムスイート – PPO、GRPO、M2PO、RLOO、REINFORCE++（および変種）、GSPO、SAPO、CISPO、さらにオンポリシー蒸留。
エラスティックなロールアウトスケーリング – HTTP REST API により、トレーニング中に推論エンジンを追加または削除でき、ループを停止せずに同一クラスタとクロスクラスタフェデレーションの両方をサポート。
本番対応の運用 – 自動復旧を備えたヘルスマネージャー、集中型メトリクス（WandB / TensorBoard / ClearML）、Apprise によるリアルタイム通知。
モデルサポート – Megatron-LM モデル向けに設計：Qwen-3 シリーズ、GLM-5、Kimi-K2/K3、カスタム HuggingFace チェックポイント。
報酬ハブ – 数学、視覚 QA、多肢選択用の組み込み報酬関数と「GenRM」LLM-as-judge モード。カスタム報酬は relax/engine/rewards/ にファイルを置くだけで追加可能。

典型的なワークフロー（クイックスタート風）

データとモデルを準備 – HuggingFace データセットと Megatron 互換チェックポイント（例：Qwen-3-4B）をダウンロード。
Docker イメージを起動 – 公式イメージ（ghcr.io/redai-studio/relaxrl:latest）には CUDA、PyTorch、Megatron-LM、SGLang、Ray がプリインストール済み。
スクリプトを実行 – 1 行の bash スクリプトで 3 モードのいずれかで完全な RL ジョブを起動。8 GPU でのテキスト専用 PPO の例：
```
export EXP_DIR=/root
bash scripts/training/text/run-qwen3-4B-8xgpu.sh
```
監視 – ログはコンソールに表示；メトリクスは設定されたサービス（WandB/TensorBoard）にストリーミング。
チェックポイントとエクスポート – チェックポイントは Megatron DCP 形式で保存；変換スクリプトで HuggingFace 重みに変換し下流で使用可能。

インストール

# 事前構築済みコンテナを取得（すべての依存関係を含む）
docker pull ghcr.io/redai-studio/relaxrl:latest

# GPU アクセスで実行しワークスペースをマウント
docker run -it --gpus all --ipc=host --network=host \
  -v /path/to/workspace:/root ghcr.io/redai-studio/relaxrl:latest bash

# コンテナ内でリポジトリをクローンし編集可能モードでインストール
git clone https://github.com/redai-studio/Relax.git /root/Relax
cd /root/Relax && pip install -e .

README にはマルチノードクラスタとドライバー要件の詳細なインストールガイドもあります。

誰が Relax を使うか？

研究ラボ – 次世代マルチモーダル LLM を構築し、RL ベースのアラインメント（視覚 QA、音視覚エージェントなど）を必要とする。
産業 AI チーム – 多くの GPU ノードにスケールできる本番グレードでフォールトトレラントな RL パイプラインを求める。
開発者 – 低レベルの分散コードを書かずに大規模 MoE モデルで先進 RL アルゴリズム（M2PO、RLOO、REINFORCE++）を実験したい。

さらに学ぶには

ドキュメントサイト – https://redai-studio.github.io/Relax （バイリンガル、完全なアーキテクチャ、トレーニングガイド、API リファレンス）。
論文 – arXiv リンク 2604.11554（バッジ内にリンク）。
ディスカッションチャンネル – WeChat QR バッジ、Docker イメージバッジ、GitHub Discussions コミュニティヘルプ。

結論

Relax は、大規模マルチモーダル LLM と強化学習ベースの微調整のギャップを埋めるフルスタックの非同期 RL プラットフォームです。サービス指向設計、幅広いアルゴリズムサポート、エラスティックなロールアウト機能により、大規模オムニモーダル RL のための最も完全なオープンソースソリューションの 1 つです。