Robbyant/lingbot-vla-v2

LingBot‑VLA 2.0 – ロボットのためのVision‑Language‑Actionモデル

概要 – 視覚入力（画像/ビデオ）と言語指示を受け取り、多様なロボットの形態（腕、手、腰、頭、移動ベースなど）に対して統一された55次元の動作ベクトルを予測するオープンソースの基盤モデルです。ロボットの軌跡（20種類のロボット構成から約5万時間）と人間のエゴセントリックビデオ（約1万時間）を混合した約6万時間のデータで学習されています。大規模な事前学習と実世界でのロボット展開の橋渡しを目的として構築されています。

主要なアイデア

• 統一された動作表現 – すべての形態が単一の55次元ベクトルに投影されるため、同じモデルを非常に異なるロボットで使用可能です。
• Mixture‑of‑Experts (MoE) 動作エキスパート – スパースなMoE層により、計算予算を固定したまま、ネットワークが普遍的な事前知識と形態固有のパターンの両方を学習できます。
• デュアルクエリ蒸留 – 現在のフレームと未来のフレームの視覚クエリを、深度教師 (LingBot‑Depth) とビデオセマンティック教師 (DINO‑Video) から蒸留し、モデルに幾何学的および予測的なダイナミクスを与えます。
• 予測ダイナミクス学習 – 将来の視覚的特徴を予測するように学習されており、先読み能力が向上しています。
• 拡張された動作空間 – 腕、エンドエフェクタ、グリッパー、器用な手、腰、頭、移動ベースの信号をサポートします（以前のバージョンは両腕操作のみ対応）。

インストール (conda + PyTorch 2.8)

git clone https://github.com/Robbyant/lingbot-vla-v2.git
cd lingbot-vla-v2
bash tools/create_train_env.sh   # conda環境を作成し、flash‑attn 2.8.3をインストール

オプションフラグを使用して、ビルド済みのflash‑attnホイールを指定したり、環境名を変更したり、強制的に再ビルドしたりできます。

事前学習済みモデル – native‑depth チェックポイント（6Bパラメータ）としてリリースされています。提供されているスクリプトまたはHugging Face / ModelScopeからダウンロードしてください：

python3 scripts/download_hf_model.py \
  --repo_id robbyant/lingbot-vla-v2-6b \
  --local_dir lingbot-vla

チェックポイントには、READMEに記載されている追加の教師ウェイト（Qwen3‑VL‑4B‑Instruct, MoGe‑2‑vitb‑normal, LingBot‑Depth, DINO‑VIDEO）が必要です。

学習 / 事後学習

1. データ準備 – LeRobot形式のデータセットを作成し、生の状態を55次元ベクトルにマッピングするロボット設定YAMLを記述し、正規化統計量 (assets/norm_stats/*.json) を計算します。
2. 実行 – RoboTwin 2.0の50タスクスイートで学習するサンプルコマンド：

bash train.sh tasks/vla/train_lingbotvla.py ./configs/vla/robotwin/robotwin.yaml \
  --data.train_path assets/training_data/robotwin.txt \
  --data.data_name multi \
  --train.output_dir output/

MuonオプティマイザおよびTorchTitanのFlexShard/FSDP2上に構築された分散型バリアント (Distributed Muon) をサポートしています。

評価

• オープンループ (オフラインシミュレーション) – scripts/open_loop_eval.py を使用（ロボット設定名 --robo_name robotwin が必要）。
• RoboTwinベンチマーク – bashランチャーがGPUクラスター上で全50タスクを実行し、クリーン環境とランダム化環境での成功率を報告します。
• 実機展開 – deploy.lingbot_vla_v2_policy が単一の推論呼び出しを実行し（RTX 4090Dで約130 ms、10回のデノイジングステップ）、動作をロボットにストリーミングします。

パフォーマンスのハイライト (論文およびREADMEより)

• GM‑100 両腕操作 – AgileX Cobot Magicでの成功率が58.2 % (VLA‑1.0) から66.2 % (VLA 2.0) に向上。
• 長距離移動タスク – 例：ドメイン内での冷蔵庫整理の成功率が77.1 % (VLA 2.0) vs 65.3 % (π₀.₅ ベースライン)。
• RoboTwin 2.0 シミュレーション – クリーンタスク成功率 93.5 % (VLA 2.0) vs 88.6 % (VLA‑1.0)、ランダム化環境 92.8 % vs 86.7 %。
• 学習速度 – Distributed Muonにより、単一のH20 GPUでの反復時間が5.93 sから4.31 sに短縮（約37 %高速化）。

ライセンス – Apache‑2.0。

引用 – 提供されているBibTeXエントリを使用してください (arXiv:2607.06403, 2026)。

対象ユーザー – 汎用的なロボットポリシーを構築する研究者、多くのロボット形態を制御できる単一モデルを必要とするエンジニア、およびカスタムロボットデータセットで微調整可能なVision‑Language‑Action基盤モデルに関心のある方。