showlab/Show-Harness

Show‑Harness – VLM駆動の具現化エージェント

概要

• 視覚言語モデル（VLM）が、小さなトークンベースのアクション語彙を通じてロボットを制御できるようにするオープンソースのハーネス。
• 2つの動作モードを提供：
  1. ゼロショット – 大規模なクローズドソースVLM（例：Gemini、GPT‑4‑V）を直接クエリし、モデルが各アクショントークンをその場で決定。
  2. ファインチューニング – 小規模なオープンVLMをロボットのデモデータでLoRA適応し、各ステップで1つのアクショントークンを出力。
• 複数のロボットプラットフォーム（Franka、AgileX Piper、Isaac‑Lab、LIBERO）およびシミュレータで動作し、すべて同じプロンプトセットとアクション語彙を使用。

主要コンポーネント

コンポーネント	役割
core/	VLMと通信し、プロンプトを構築し、ログを記録し、VLMトークンを選択したロボットのインタープリタにマッピングするメインループ。
interpreters/	トークン（例：GRIP_OPEN）を実際のロボットコマンド（インピーダンス制御、ジョイントストリーミングなど）に変換するプラットフォーム固有のコード。
gumi/	デモ収集のための軽量ブラウザUI。ユーザーはキー（WASD、矢印）を押してロボットを操作し、各ステップが（観測、アクション）ペアとしてトレーニング用に保存されます。
plugins/	コアコードを変更せずにトグルできるオプションの「プラグイン」（知覚、計画、リカバリなど）。
train/	GUMIのロールアウトをデータセットに変換し、🤗 Datasetsに登録し、LLaMA‑Factory（LoRAアダプタ）を使用してVLMをファインチューニングするスクリプト。
scripts/	環境セットアップ、ROS/RealSense統合、ロボットキャリブレーション、vLLMでのVLM提供、シミュレータ用の評価スクリプトなどのヘルパーユーティリティ。
configs/	階層的なYAML設定 – デフォルト、サイト固有のロボット設定、オプションのオーバーライド。

開始方法

1. 環境をセットアップ – ハーネスにはbash scripts/setup.sh base、vLLMサーバーには… serve、シミュレータにはオプションで… libero <checkout>を実行。
2. データを収集 – シミュレーション（--sim）または実機でGUMI UI（gumi/collect_rollouts_web.py）を起動し、キーボードでロボットを操作すると、システムがトレーニング可能なペアを記録。
3. ロボットを実行 – configs/site/*.yamlを設定し、configs/secrets.envにAPIキーを追加し、scripts/check_setup.pyを実行してから、scripts/run_real.py（ゼロショット）またはscripts/run_real_mvtoken.py（ファインチューニング）を実行。
4. ファインチューニング – 🤗 HubからリリースされたLoRAアダプタをダウンロードするか、train/パイプラインで独自のアダプタをトレーニング。

リリース済みリソース

• モデル: Qwen‑3.5（0.8B、2B、4B、9B）およびGemma‑4B用の5つのLoRAアダプタと、シミュレーション専用アダプタ。showlab/Show‑Harness‑VLMsでホスト。
• データセット: Franka/Piperからの実ロールアウトとRoboLab/ManiSkillからのシミュレーションデータ。showlab/Show‑Harness‑Dataで利用可能。
• 論文とデモ – arXivプレプリント（2609.10522）と、VLMがロボットを操作する短いビデオ。

重要性

• 単一のVLMインターフェースが多くのロボットボディを駆動できることを実証し、ロボット固有のポリシーネットワークの必要性を排除。
• GUMIコレクタにより、高価なテレオペレーション装置なしで、高品質なトークンレベルのデモを簡単に生成可能。
• プラグインアーキテクチャにより、研究者は単一のブールフラグで知覚/計画モジュール（例：マルチビューガイダンス、サブゴール計画）を追加または削除でき、アブレーション研究が容易。

典型的なユースケース

• 新しいロボットプラットフォームでゼロショットVLM制御をテストしたい研究者。
• ロボットのデモを収集し、軽量VLMをファインチューニングするための迅速なパイプラインが必要なチーム。
• 同じハーネスにプラグインするカスタム知覚または計画プラグインを開発する開発者。

引用

@article{chen2026show,
  title={Show‑harness: Just a VLM agent can play robots},
  author={Chen, Yanzhe and Bai, Zechen and Cao, Zhijun and Zeng, Wenzheng and Lin, Kevin Qinghong and Lin, Yiqi and Liang, Guoqiang and Ma, Kevin Yuchen and Huang, Qiming and Shou, Mike Zheng},
  journal={arXiv preprint arXiv:2609.10522},
  year={2026}
}

---

すべての詳細はリポジトリのREADMEから直接取得しており、追加の機能は推測されていません。