Tencent-Hunyuan/UniRL

UniRL – 統合マルチモーダルモデルのための強化学習

概要 – UniRLは、研究者やエンジニアが、さまざまなマルチモーダル生成モデル（テキストから画像、テキストからビデオ、視覚言語、大規模言語モデル、および自己回帰と拡散コンポーネントを組み合わせた「統合」モデル）に対して、単一の強化学習（RL）ループを適用できるようにするオープンソースのPythonフレームワークです。 このループは、古典的なRLポストトレーニングサイクルです。サンプルを生成し、報酬サービスでスコアリングし、アドバンテージを計算し、ポリシーを更新し、新しい重みをロールアウトワーカーに同期します。

主要なアイデア

• 階層的で構成可能なアーキテクチャ – エントリーポイントはHydra設定によって駆動され、以下を結び付けるトレーナーをインスタンス化します：
  • ロールアウトエンジン（vLLM‑Omni、SGLangなど）
  • RLアルゴリズム（GRPOのような標準的なものと、Flow‑DPPO、DRPO、CPPOなどのチーム提案のもの）
  • モデルバンドル（拡散、AR、統合モデル）
  • 報酬サービス（任意の外部スコアラー）
  • 分散ランタイム（Ray DevicePool、FSDP、LoRA/フル重み同期）
• 複数のトレーニングモード – 拡散RL、自己回帰（AR）RL、教師ありファインチューニング（SFT）、プロンプト拡張、統合RL、エージェントRL、およびロールアウトとトレーニングワーカーを分離する非同期バリアント。
• 広範なモデルサポート – 多数の最先端モデル（Stable Diffusion 3.5、FLUX.2‑Klein、Qwen‑Image、さまざまなビデオ拡散モデル、Qwen‑3シリーズLLM/VLM、HunyuanVideoなど）向けのすぐに実行できるレシピ。 各レシピは、モデル、アルゴリズム、ロールアウトバックエンド、および特別なフラグを選択するYAML設定です。
• チーム提案のアルゴリズム – UniRLチームによって導入された新しいRLメソッド：
  • Flow‑DPPO – 拡散/フローモデルのための発散ベースの信頼領域。
  • DRPO – トークンレベルのLLM RLのための滑らかなアドバンテージ加重二次正則化。
  • CPPO – 位置加重累積プレフィックス信頼領域マスク。 すべてにステップバイステップのチュートリアルと実行可能な例が付属しています。

使用方法

1. インストール（INSTALL.mdを参照）。
2. レシピを選択します（例：diffusion/sd3/sd3_trainside.yaml）。
3. エントリーポイントを実行します（例：python -m unirl.train_diffusion --config-name=diffusion/sd3/sd3_trainside）。
4. フレームワークはロールアウトワーカーを起動し、サンプルを生成し、スコアリングし、モデルを自動的に更新します。 マルチノードおよびGPUスラブ設定がサポートされています。

対象読者 – 生成AI向けのRLベースのファインチューニングパイプラインを構築する研究者、報酬信号でマルチモーダルモデルを改善する統一された方法を必要とするプロダクトチーム、および人気のある拡散またはLLMバックエンド上で新しいアルゴリズム（Flow‑DPPO、DRPO、CPPO）を試したい人。

ドキュメントとコミュニティ – 完全なドキュメントはhttps://unirl‑project.github.io/unirl/、中国語でのディスカッション用のWeChatグループ、および今後のモデル/アルゴリズム拡張をリストしたロードマップがあります。

ライセンス – Apache‑2.0。