OpenRLHF/OpenRLHF

解決する課題

OpenRLHFは、強化学習（RLHF）のための高性能で本番環境に対応したフレームワークを提供します。推論と学習の両方を最適化する分散アーキテクチャを統合することで、RLHF学習におけるスケーラビリティと効率性のボトルネック（特に学習時間の80%を占めるサンプル生成の負荷）を解決します。

仕組み

このフレームワークは、スケジューリングとリソース管理のための Ray、高スループットなサンプル生成のための vLLM、そしてメモリ効率の高い学習のための DeepSpeed (ZeRO-3) を組み合わせた分散アーキテクチャを採用しています。

また、すべての学習実行を「token-in-token-out」のエージェント実行として扱う統一されたエージェントベースの設計パラダイムを導入しています。これにより、RLアルゴリズムと実行モードが分離され、ユーザーは以下のモードを切り替えることができます：

• シングルターンモード (Single-Turn Mode)：ほとんどのRLHFユースケースに適した標準的なワンショット生成。
• マルチターンモード (Multi-Turn Mode)：環境フィードバックを伴う多段階の対話。複雑な推論やインタラクティブなエージェントに適しています。

対象ユーザー

小規模なモデルから数千億パラメータのモデルまで、RLHFを用いて大規模に大規模言語モデル (LLM) や視覚言語モデル (VLM) をアライメントする必要があるAI研究者やエンジニア向けに設計されています。

主な特徴

• 多様なRLアルゴリズム：PPO, REINFORCE++, GRPO, RLOO, FlashREINFORCEをサポート。
• ハイブリッドエンジン・スケジューリング：モデルとvLLMエンジンがGPUリソースを共有し、利用率を最大化。
• 幅広いモデルサポート：HuggingFace Transformersと互換性があり、LoRA/QLoRA, MoE, VLMをサポート。
• 高度な最適化：サンプルパッキング、長文脈向けのRingAttention、Muonオプティマイザを搭載。
• 柔軟な報酬シェイピング：DAPOスタイルの過長ペナルティやProRLスタイルの切り捨てペナルティにより、長さの制御を向上。