NVIDIA/Isaac-GR00T

NVIDIA Isaac GR00T N1.7 – 人間型ロボット向けの視覚言語行動モデル

何であるか – GR00T（汎用ロボット学習Transformer）は、オープンソースの視覚言語行動（VLA）モデルであり、ビデオフレームと自然言語の指示を受け取り、連続的なロボット動作を出力します。これは複数の身体構造に対応するように設計されており、二腕アームから全身人間型ロボットまで、さまざまな操作機械を同じ重みで制御できます。

なぜ重要か – ロボットのデモンストレーションと20,000時間のヒューマンエゴセントリック動画（EgoScale）を組み合わせて訓練することで、モデルは人間の動きからロボット制御への転移が可能な操作の事前知識を学習します。最新のGAリリース（N1.7）では、視覚バックボーンをCosmos-Reason2-2B / Qwen3-VLの基礎モデルにアップグレードし、相対エンドエフェクタ（EEF）行動空間に切り替えました。これにより、異なる運動学を持つロボットに適用した場合でも、ポリシーの堅牢性が向上します。

主な構成要素

• バックボーン – Cosmos-Reason2-2B（Qwen3-VL視覚言語モデル）で、画像をネイティブのアスペクト比でエンコードします。
• 行動ヘッド – ディフュージョントランスフォーマー（DiT）で、連続的な行動のシーケンスをノイズ除去し、現在は40ステップの予測ホライズンをサポートしています。
• データフォーマット – LeRobot v2のparquetベースのデータセットを使用し、modality.jsonファイルで、生の状態/行動ベクトルを名前付きフィールド（例：関節角度、グリッパー）にマッピングします。これにより、同じコードでさまざまなロボットの形態を扱えます。
• 身体構造タグ – LIBERO_PANDA、OXE_DROID_RELATIVE_EEF_RELATIVE_JOINTなどのタグにより、モデルは特定のロボットの状態/行動レイアウトをどのように解釈すべきかを知ることができます。

使い方

1. インストール – サブモジュール付きでクローンし、git-lfsをインストール。その後、uvツール（またはpip）で環境を迅速にセットアップ。ビデオデコードにはtorchcodecが必要なため、GPUドライバー（CUDA 12.8/13.x）とFFmpeg 4-7が必要です。
2. 推論実行 – チェックポイント（例：nvidia/GR00T-N1.7-3B）をロードし、Gr00tPolicy APIを呼び出し、データセットと適切な--embodiment-tagを指定します。ノートブック（GR00T_inference.ipynb）でDROIDサンプルデータに対するゼロショットデモをステップバイステップで説明しています。
3. ファインチューニング – 自分のデモンストレーション（LeRobot形式に変換済み）を使ってlaunch_finetune.pyを使用。複数のデータセットパスを混在させ、ds_weights_alphaで重みを調整可能です。
4. 評価 – オープンループ評価スクリプトで予測行動と真値を比較。シミュレーションベンチマーク（RoboCasa、SimplerEnv）と実機テストも提供されています。
5. デプロイ – 提供されたスクリプトでモデルをONNXまたはTensorRTにエクスポートし、任意のロボットコントローラーにGr00tPolicyを統合できます。DGX Spark、Jetson Thor、Jetson Orin向けのプラットフォーム固有のDockerfileも含まれています。

利用可能なチェックポイント – 基底の3Bパラメータモデル（GR00T-N1.7-3B）は、事前学習済みの身体構造でゼロショット動作が可能です。LIBERO（Franka Panda）、DROID、SimplerEnv（WidowX、Google Robot）向けの複数のファインチューニング済みチェックポイントが提供されています。

ドキュメントとサポート – リポジトリには、ハードウェア要件、データ準備、ファインチューニング、評価、デプロイに関する詳細ガイドが含まれています。商用サポートと安定したApache-2.0ライセンスもプロダクション利用向けに提供されています。

---

結論 – GR00T N1.7は、視覚、言語、連続的ロボット制御を橋渡しする本格的でプロダクション対応のAIモデルであり、研究者やエンジニアが多数のロボット本体にわたる汎用的な操作スキルのプロトタイピングとリリースを可能にします。