PrimeIntellect-ai/prime-rl

Agentic RL Training at Scale

何を解決するか

prime-rl は、大規模なエージェント型学習における強化学習（RL）のスケーラビリティの課題に対処します。開発者が数千のGPUにわたって巨大なモデル（1Tパラメータ以上）を訓練できるフレームワークを提供し、迅速な実験を可能にするモジュール化かつ「ハッカブル」な設計を維持します。

動作方法

このフレームワークは、スループットを最大化する完全非同期RLアーキテクチャを採用しています。大規模な訓練・推論には、いくつかの高性能技術を統合しています：

  • 訓練・推論：訓練には FSDP2、推論には vLLM を使用し、FP8精度、Expert Parallelism（EP）、Context Parallelism（CP）を組み込みます。
  • デプロイ：Slurm を通じたマルチノードデプロイをサポートしており、P/D非同期化やKVオフロードなどの高度な構成も可能。
  • パイプライン：Supervised Fine-Tuning（SFT）、RL訓練、評価をカバーするエンドツーエンドのポストトレーニングパイプラインを提供。
  • 統合：Environments Hub および verifiers とネイティブに連携し、エージェント型およびソフトウェアエンジニアリング（SWE）環境に対応。

対象ユーザー

前線モデルの研究者およびエンジニア向けに設計されており、特にMoE（Mixture-of-Experts）または密度型モデルにおける大規模RLポストトレーニングを実施する必要がある方、およびVLM（視覚言語モデル）の訓練を行う方を対象としています。

主な特徴

  • 巨大なスケーラビリティ：1T+のMoEモデルを1000台以上のGPUで訓練可能。
  • 広範なモデル対応：GLM、Qwen、Nemotron、およびその他の主要なMoEファミリーをネイティブサポート。
  • マルチモーダル対応：Qwen3.5 などのVLMの訓練をサポート。
  • 柔軟なデプロイ：複雑な前線モデル構成をワンラインSlurmでデプロイ可能。
  • 包括的なツールキット：SFT、RL、評価を1つのフレームワーク内でネイティブにサポート。

関連

  • プロジェクト
    ServiceNow/PipelineRL

    GPUの利用効率を最大化しつつ、オンポリシーのデータ新鮮さを維持するため、実行中の重み更新を活用するスケーラブルな非同期強化学習フレームワーク。

  • プロジェクト
    alibaba/ROLL

    ROLL は、大規模な強化学習による大規模言語モデルのトレーニングのためのオープンソースライブラリです。Ray ベースの分散実行を提供し、多くの RL アルゴリズム（PPO、GRPO、Reinforce++ など）をサポートし、Megatron‑Core、vLLM、SGLang、LoRA と連携し、RL ベースのファインチューニング（RLVR）とマルチターンエージェント RL のパイプラインを提供します。このプロジェクトには、広範なドキュメント、ハードウェアに依存しないサポート（NVIDIA、AMD、Ascend）、組み込みの可観測性が含まれています。

  • プロジェクト
    verl-project/verl

    LLMのための柔軟で効率的なRL 訓練ライブラリ。RLHFアルゴリズムの実装を簡素化し、兆単位のパラメータ数を持つモデルへのスケーリングが可能です。

  • プロジェクト
    Tencent-Hunyuan/UniRL

    UniRLは、Apache‑2.0のPythonフレームワークで、多くのマルチモーダル生成モデル（拡散、ビデオ、LLM、VLM、統合AR+拡散）に単一の強化学習ループを適用します。 構成可能なトレーナー、複数のロールアウトバックエンド（vLLM‑Omni、SGLang）、標準および新しいRLアルゴリズム（GRPO、Flow‑DPPO、DRPO、CPPO）、および数十の最先端モデル向けのすぐに実行できるレシピを提供します。 ユーザーはHydra設定を介してトレーニングを起動し、システムは分散ロールアウト、スコアリング、アドバンテージ計算、および重み同期を処理します。

  • Dispatch
    トークンを流し続けよう：16のオープンソースRLライブラリから得た教訓

    Hugging Face は 16 のオープンソース RL ライブラリを調査し、非同期 RL トレーニングは推論と学習を別々の GPU プールに分離し、ロールアウトバッファを使用し、重みを非同期にプッシュすることを示しました。オーケストレーションは Ray が支配的で、重み同期は NCCL ブロードキャストが一般的です。