open-gigaai/giga-brain-0

GigaBrain‑0.7 – 身体化基盤モデル

何であるか – GigaBrain‑0.7 は、多数の異なるロボットプラットフォームを制御するために設計された大規模な 視覚言語行動 (VLA) モデルです。視覚理解、言語の接地、ロボット固有の行動生成を統合的に学習する3システムアーキテクチャを採用しています。このモデルは 約 37,000 時間 の多様な身体化データ（実機走行、シミュレーション、エゴセントリック動画、ワールドモデル生成軌道など）で事前学習されており、3.5Bパラメータのベースバージョンと複数のファインチューニング済みバリアントとしてリリースされています。

なぜ重要か – 既存の大多数のVLAシステムは1つのロボットタイプまたは比較的小規模なデータセットで学習されています。GigaBrain‑0.7は、1つのモデルが多数の身体化（例：AgileXコボット、Franka、デキストラスハンドラジ、Maker H01プラットフォーム）に一般化できることを示しており、新しいタスクに対して強力なゼロショット性能を維持しています。プロジェクトは完全なトレーニングスタック、評価ベンチマーク、即時実行可能なデプロイサーバーを提供しており、今日までに最も包括的なオープンソースの身体化AIリリースの一つです。

クイックスタート概要

環境のセットアップ – 新しいConda環境（Python 3.11）を作成し、ピンされた依存関係（giga-datasets、giga-train、giga-models）と requirements-paligemma2.txt スタックをインストールします。
モデルのダウンロード – README内のHugging Faceリンクから3.5Bベースチェックポイント（またはファインチューニング済みバリアント）を取得します。
データの準備 – ロボットログをLeRobot Parquet形式に変換し、scripts/compute_norm_stats_fast.py を実行して特定のロボットタイプ用の正規化統計を生成します。
トレーニング – 提供された2つの構成ファイルのいずれか（gb07_pg2_pick_and_place_piper_30k.py でAgileX PiPER用、gb07_pg2_push_buttons_h01_30k.py でMaker H01用）を選択し、scripts/train.py を起動します。
オフライン評価 – scripts/inference/inference_gigabrain07_flow_rollout.py を使用して、保存されたLeRobotエピソード上でトレーニング済みチェックポイントを実行し、MSE/MAEメトリクスを取得します。
デプロイ – 統合型インファレンスサーバー（inference_agilex_server_unified.py またはH01サーバースクリプト）を起動し、カメラ画像をストリーミングするROSクライアントを接続して関節空間コマンドを受信します。

コアコンポーネント

コンポーネント	役割
3システムアーキテクチャ	視覚認識、言語の接地、行動生成のための分離モジュール。共通のバックボーンを共有。
身体化ID	整数コード（0–7）でロボット固有の状態/行動プロジェクションを選択。新しいロボットはマッピングを拡張することで追加可能。
LeRobotデータフォーマット	複数カメラ、関節状態、行動ストリームのための標準化されたParquetスキーマ。正規化統計を計算するスクリプトを提供。
トレーニングスタック	`giga-datasets`（データロード）、`giga-train`（トレーニングループ、最適化手法）、`giga-models`（Paligemma‑2バックボーンに基づくモデル定義）。
ベンチマーク	VLM‑Benchmark、RoboColiseum、RoboTwin 2.0、EBench – 各々独自のREADMEと評価スクリプト付き。
デプロイサーバー	Diffusers互換チェックポイント。トレーニング時の変換をロードし、シンプルなTCP/ROSインターフェースで予測を提供。

ベンチマークと評価

ベンチマーク	測定内容	実行方法
VLM‑Benchmark	身体化タスクのマルチモーダル（視覚言語行動）評価。	`scripts/eval/VLM-Benchmark/README.md` を参照。
RoboColiseum	トレーニング後の指示追従、空間的推論、シミュレートされたアリーナでの操作。	`configs/robocoliseum_posttrain_release/README.md` を参照。
RoboTwin 2.0	シミュレーション内での50のバイマンアールタスク。事前学習から新しい操作問題への転移を測定。	`configs/robotwin_posttrain_release/eval_robotwin/README.md` を参照。
EBench	一般用途の操作（GenManip）評価。ローカルおよびオンラインサーバーで実行可能。	`configs/ebench_posttrain_release/eval_ebench/README.md` を参照。

ライセンスと引用

ライセンス: Apache 2.0（許容性が高く、商業利用に適しています）。
引用: モデルまたは技術レポートを引用する際は、提供されたBibTeXエントリ（arXiv 2608.15875）を使用してください。

どのような人にとって有用か？

ロボット工学研究者：新しいロボットでファインチューニングできる大規模な事前学習VLAモデルが必要な人。
産業研究ラボ：ROSでラップ可能な即時デプロイ可能なインファレンスサーバーが必要な人。
教育者：マルチ身体化基盤モデルとその完全なトレーニング/評価パイプラインの具体的な例が必要な人。

結論：GigaBrain‑0.7は、視覚言語行動ロボティクスのためのデータ、モデル重み、トレーニングコード、ベンチマークスイート、デプロイツールを一貫して提供する本格的なエンドツーエンドオープンソースの身体化AIプロジェクトです。