RLinf/RLinf

解決する課題

RLinfは、強化学習（RL）モデルのトレーニングのためのスケーラブルで柔軟なインフラストラクチャを提供し、特に具身AI（ロボティクス）とエージェント型AIを対象としています。データ収集、教師ありファインチューニング（SFT）、RLトレーニング、展開のための統一バックボーンを提供することで、シミュレーションと実世界のギャップを埋めます。

仕組み

RLinfは、多様なハードウェア（NVIDIA、AMD、Huawei Ascend、Moore Threads、Biren GPU）とソフトウェアエコシステム（PyTorch）をサポートする堅牢なトレーニングバックボーンとして機能します。ハードウェア、タスク、ロールアウトラッパーを管理するための統一ロボティクスインターフェースを実装しています。システムは以下のような多様なトレーニングパラダイムをサポートします：

• VLA（視覚-言語-行動）トレーニング：さまざまなアーキテクチャとシミュレーターにわたるVLAモデルのスケーラブルなRLトレーニング。
• 実世界統合：物理ロボットをオンラインポリシー学習の第一級リソースとして扱います。
• システム最適化：DynaRLによる動的計算再割り当てや、FUSCOによるMoE通信の高速化などの技術を使用して、トレーニングスループットを向上させます。
• ワールドモデル統合：ワールドモデルをシミュレーターとして使用したRLファインチューニングをサポートします。

対象ユーザー

具身知能、ロボット制御、自律エージェントに取り組むAI研究者やエンジニア向けに設計されており、モデルをシミュレーションから実世界のハードウェアに移行するための高性能フレームワークを必要としています。

ハイライト

• 幅広いハードウェアサポート：NVIDIA以外にも、ROCm、CANN、MUSAなど、複数のGPUベンダーと互換性があります。
• 深いロボティクス統合：Isaac Lab v3.0.0で公式採用され、FrankaやXSquare Turtle2などのさまざまなロボットをサポートしています。
• 多様なRLサポート：GRPO、SAC、IQL、DAggerを実装し、VLAモデルのSFTとRLファインチューニングもサポートしています。
• パフォーマンス最適化：システムレベルの最適化により、シミュレーター（例：BEHAVIORで25倍）で大幅な高速化を達成しています。