DaoyuanLi2816/mini-verl

何を解決するか

mini-verl は、ユーザーが PPO、GRPO、およびオンポリシー蒸留（OPD）という高度な強化学習（RL）トレーニングワークフローを、1台のコンシューマー向けNVIDIA GPU上で実行できるようにします。verlの設定やトレーニングレシピを使用したい開発者にとって、通常はこれらの手法に必要な巨大なコンピューティングクラスタがなくても、実行可能な橋渡しを提供します。

動作方法

このプロジェクトは、Actor、Critic、Reference、Reward、Teacherといった異なる役割が、クラスタ上で並列に実行されるのではなく、フェーズごとに1台のGPUを共有する順次実行モデルを実装しています。標準のverl設定ツリーとHydraのオーバーライドをサポートしており、ローカルでトレーニングを行い、その後アダプター、データセット、設定をエクスポートして、より大きな環境にスケーリングできます。

対象ユーザー

1台のGPU上でローカルでRLトレーニングを実験したい開発者や研究者、既にverlを使用しているがローカルでのテスト環境を必要としているユーザー、コンシューマー向けハードウェア上でオンポリシー蒸留や報酬ベースのトレーニングを行いたいユーザーに最適です。

特徴

• 1GPU効率性：RTX 4080などのコンシューマー向けハードウェア上で、GRPOやPPOのような複雑なRLワークロードを最適化して実行可能。
• verl互換性：verl設定プロファイルとオーバーライドを直接サポート。
• 正確な再開：チェックポイントからトレーニングを再開でき、モデル、オプティマイザー、データ位置、ランダム状態を完全に復元可能。
• 柔軟なトレーニングレシピ：PPO、GRPO、オンポリシー蒸留（OPD）、SFT、DPO、オフラインKDをサポート。
• エクスポート可能な結果：トレーニング済みアダプター、報酬ログ、準備状況レポートを生成し、より大きなコンピューティング環境への移行を容易にします。