LeCAR-Lab/BFM-Zero

解決する課題

BFM-Zeroは、人型ロボットのための汎用的でプロンプト可能な制御ポリシーを作成するという課題に取り組んでいます。タスクごとに個別のモデルを学習させるのではなく、統一された潜在空間を使用して、モーション追跡、目標到達、報酬ベースのタスクなど、さまざまな動作を実行するように指示できる基盤モデルを提供します。

仕組み

このプロジェクトでは、教師なし強化学習を使用して行動基盤モデルを学習させます。大規模な人体モーションデータセットを処理することで、モデルは複雑な動きをコンパクトな潜在表現 (z) にマッピングすることを学習します。推論時には、ユーザーが異なるプロンプトや目標を提供すると、モデルが対応する潜在ベクトルを計算し、Isaac Sim や MuJoCo などのシミュレーター内で人型ロボットの動きをガイドします。生成されたポリシーは、デプロイ用に ONNX ファイルとしてエクスポートできます。

対象読者

このプロジェクトは、人型ロボットの移動、強化学習、具身化AIに取り組むロボット工学の研究者やエンジニアを対象としています。タスク固有の再学習を必要とせずに、さまざまなタスクに適応できる汎用ロボットコントローラーを構築したいと考えている方に特に役立ちます。

ハイライト

• プロンプト可能な制御: 潜在空間の操作を通じて、単一のモデルでモーション追跡や目標到達などの多様なタスクを処理可能。
• 教師なし学習: 大規模なモーションデータを活用して、各動作に対して手動で報酬を設計することなく、堅牢な動作プリミティブを学習。
• シミュレーションサポート: Isaac Sim および MuJoCo と完全に統合されており、学習と評価が可能。
• デプロイ対応: 学習済みポリシーを ONNX 形式にエクスポートするスクリプトが含まれており、クロスプラットフォームの互換性を確保。
• モジュール式推論: 追跡、目標到達、報酬ベースのタスク実行のための専用パイプラインを提供。