OpenRLHF/OpenRLHF

解決する課題

OpenRLHFは、人間からのフィードバックによる強化学習（RLHF）をスケーラブルかつ拡張可能にするために設計された、高性能でプロダクション環境に対応したフレームワークです。RLHFのトレーニング時間の80%を占めることが多いサンプル生成のボトルネックを、高スループットの推論エンジンと分散トレーニングアーキテクチャを統合することで解決します。

仕組み

このフレームワークは、スケジューリングとモデル分離（Actor、Reward、Reference、Criticモデル）のためのRay、高性能なサンプル生成のためのvLLM、そしてメモリ効率の高いトレーニングのためのDeepSpeed ZeRO-3を組み合わせた分散アーキテクチャを利用しています。

その核心となる革新は、統一されたエージェントベースの設計パラダイムです。これは、すべてのトレーニング実行を「token-in-token-out」のエージェント実行として扱い、同じパイプラインで単一ターンのRLHF（標準的なワンショット生成）とマルチターンのRLHF（環境フィードバックを伴う複雑なインタラクション）の両方をサポートすることを可能にします。この設計により、RLアルゴリズムが実行モードから分離されるため、サポートされているあらゆるアルゴリズムをあらゆるエージェントモードで使用できます。

対象者

RLHFを使用して大規模言語モデル（パラメータ数70B以上）をトレーニングする必要がある研究者やエンジニア、特に推論モデル、視覚言語モデル（VLM）、またはインタラクティブエージェントに取り組んでいる方を対象としています。

ハイライト

• 多様なRLアルゴリズム: PPO、REINFORCE++、GRPO、RLOOをサポート。
• エージェントベースの実行: 単一ターンおよびマルチターンのインタラクションの両方に対応した統一パイプライン（外部環境フィードバックのサポートを含む）。
• VLMサポート: 画像入力とマルチターン画像フィードバックを用いた視覚言語モデルのトレーニングが可能。
• ハイブリッドエンジンスケジューリング: モデルとvLLMエンジンがリソースを共有できるようにすることで、GPU利用率を最大化。
• スケーラビリティ: 長文コンテキストのトレーニングのためのDeepSpeed AutoTPおよびRingAttention、およびSLURMを介したマルチノードスケーリングとの統合。