NVIDIA-NeMo/RL

何を解決するか

NeMo RL は、大規模なマルチモーダルモデル（大規模言語モデル（LLM）や視覚言語モデル（VLM）を含む）の後学習に向けたスケーラブルで効率的なフレームワークを提供します。強化学習（RL）およびアライメント技術を適用して、モデルを事前学習段階から本番運用可能な性能へと移行するプロセスを簡素化し、小規模な研究実験から大規模なマルチノードデプロイまでをサポートします。

仕組み

このライブラリは、学習と生成（ロールアウト）プロセスを分離するモジュールアーキテクチャを採用しています。

• 学習バックエンド：メモリ効率性を重視する DTensor（PyTorchネイティブ分散学習）と、6D並列化を用いて非常に大きなモデルに高パフォーマンスでスケーリングする Megatron Core をサポートします。
• 生成バックエンド：高スループット推論を実現する vLLM と SGLang との統合に加え、学習と推論間の重み変換を排除する Megatron ネイティブバックエンドも提供します。
• インフラ：Ray を活用して、RLエージェント間のスケーラブルなリソース管理とプロセス分離を実現します。
• 最適化：シーケンスパッキング、FP8低精度学習、予測デコードなどの高度な技術をサポートし、RLループの高速化を実現します。

対象ユーザー

NeMo RL は、強化学習を用いて大規模なマルチモーダルモデルの後学習を行う必要があるAI研究者およびエンジニア向けに設計されています。特に、膨大なデータセットとハードウェアクラスタ（例：GB200）を扱う環境で、効率性とスケーラビリティが重要なケースに最適です。

特徴

• 多様なRLアルゴリズム：GRPO、GSPO、DAPO、DPO、SFT（LoRA付き）およびオンポリシー／オフポリシーのディスティルレーションをサポート。
• 広範なモデル対応：Qwen、Nemotron、Gemma 4、GLM など、多数のモデルと互換性があります。
• 高度な並列化：TP、PP、CP、SP、EP、FSDP2 を実装し、巨大なモデルや長文コンテキストに対応可能。
• マルチモーダル機能：視覚言語モデル（VLM）向けにSFTおよびGRPOを特別にサポート。
• シームレスな統合：Hugging Faceモデルの即時サポートと、NeMo-Gymとの統合を提供。