physical-superintelligence-lab/Psi0

[RSS26'] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.

📚 概要

Ψ₀ (読み：Psi-zero) は、器用なヒューマノイドの移動・操作を目的としたオープンソースの 視覚言語アクション (VLA) 基盤モデル です。まず、膨大なエゴセントリック（一人称視点）ビデオデータから視覚および言語表現を学習し、次に、ヒューマノイドの身体特性（例：Unitree G1）を捉えるために、より小規模な実世界のテレオペレーション・ロボット実演データセットで 事後学習 (post-training) を行います。このモデルは、わずか約80本の新しい軌跡で微調整を行うことで、新しい全身動作スキルを獲得できます。

🏗️ アーキテクチャ (READMEに記載)

レベル	コンポーネント	役割
System-2	視覚言語バックボーン	Qwen3-VL-2B-Instruct に基づいており、カメラの観察とテキスト指示から、結合された視覚言語特徴を抽出します。
System-1	マルチモーダル拡散トランスフォーマー (アクション・エキスパート)	≈500 M パラメータのフローベース拡散トランスフォーマー (Stable Diffusion 3に着想を得たもの) であり、バックボーンの特徴を条件として将来の全身アクション・チャンクを予測します。
System-0	RLベースのトラッキング・コントローラー	System-1 が生成する低レベルの身体下部コマンドを実行し、ロボットに安定した物理制御を提供します。

🚀 リポジトリが提供するもの

モデル・チェックポイント (視覚言語バックボーン + 拡散アクション・エキスパート) は Hugging Face でホストされています。
データセット – 実世界のテレオペレーション記録 (9タスク) およびシミュレーションデータ (SIMPLE) も Hugging Face にあります。
エンドツーエンドの学習スクリプト：
- エゴセントリック・データセット (EgoDex, Humanoid-Everyday) での VLM プリトレーニング。
- ロボットデータを用いたアクション・エキスパートの事後学習。
- 特定のロボット (Unitree G1) または SIMPLE シミュレータでの微調整。
デプロイメント・ユーティリティ：RTC (リアルタイム通信) モード でのポリシー・サービング、およびロボット上でのクライアント実行。
SONIC との統合 – より高度なロボット側実行のための全身コントローラー (NV-Labs GR00T からフォークされたもの)。
ベースライン実装 (GR00T, OpenPI π0.5, InternVLA-M1, H-RDT, EgoVLA, Diffusion Policy, ACT) による比較。
広範なドキュメンテーション：インストール、データ変換 (LeRobot 形式へ)、微調整、評価 (オープンループおよびシミュレーション内)、およびトラブルシューティング。

📦 クイックスタート (実世界ロボット)

# Clone and set up the environment (uses uv for dependency management)
git clone git@github.com:physical-superintelligence-lab/Psi0.git && cd Psi0
curl -LsSf https://astral.sh/uv/install.sh | sh   # install uv if needed
uv venv .venv-psi --python 3.10
source .venv-psi/bin/activate
GIT_LFS_SKIP_SMUDGE=1 uv sync --group serve --group viz --group psi --active
uv pip install flash_attn==2.7.4.post1 --no-build-isolation

# Verify installation
python -c "import psi; print(psi.__version__)"

実世界のタスクで微調整 (例：Hug box and move)

タスク・データを Hugging Face からダウンロード：

export task=Hug_box_and_move
hf download USC-PSI-Lab/psi-data g1_real_raw/$task.zip \
    --local-dir=$PSI_HOME/data/real_teleop_g1 --repo-type=dataset
unzip $PSI_HOME/data/real_teleop_g1/g1_real_raw/$task.zip -d $PSI_HOME/data/real_teleop_g1/g1_real_raw/$task

データを LeRobot 形式に変換 (スクリプトがメタデータを処理します)：

python scripts/data/raw_to_lerobot.py \
    --data-root=$PWD/data/real_teleop_g1/g1_real_raw \
    --work-dir=$PWD/data/real \
    --repo-id=psi0-real-g1 \
    --robot-type=g1 \
    --task=$task

微調整 (Fine-tune)：

scripts/train/psi0/finetune-real-psi0.sh $task

ポリシー・サービング (RTC モード)：
```
bash ./scripts/deploy/serve_psi0-rtc.sh
```
ロボット上でクライアントを実行：
```
bash ./real/scripts/deploy_psi0-rtc.sh
```

🎮 シミュレーション・ワークフロー (SIMPLE)

SIMPLE をインストール (スタンドアロンまたはサブモジュールとして)。
シミュレーション・タスク・データをダウンロード (例：G1WholebodyXMovePickTeleop-v0)。
scripts/train/psi0/finetune-simple-psi0.sh $task を使用して微調整。
チェックポイントをサービングし、提供された評価用 Notebooks または CLI スクリプトを実行して、ロールアウト・ビデオを生成。

📚 データ & モデルへのアクセス

モデル・チェックポイント：https://huggingface.co/USC-PSI-Lab/psi-model
データセット (実世界 & シミュレーション)：https://huggingface.co/datasets/USC-PSI-Lab/psi-data
事前学習済み VLM バックボーン (Qwen3-VL-2B-Instruct) は、scripts/predownload_qwen3vl.py ヘルパーによって自動的にダウンロードされます。

🛠️ 依存関係

uv – リポジトリ全体で使用される高速な Python パッケージ・マネージャー。
flash_attn – 大規模 Transformer モデル向けの最適化されたアテンション・カーネル。
LeRobot – ロボット学習パイプラインのための共通データ形式。
も SIMPLE – MuJoCo + Isaac Sim ベースのヒューマノイド・ベンチマーク。
SONIC (GR00T-WholeBodyControl) – 実機デプロイのためのオプションの全身コントローラー。

📄 ライセンス

コードは Apache 2.0 ライセンスで公開されています (see LICENSE)。モデルの重みも Apache 2.0 で配布されており、リポジトリのライセンスと一致しています。

📖 引用

研究で Ψ₀ を使用する場合、付属の arXiv 論文 (arXiv:2603.12263) とリポジトリを引用してください。

TL;DR

Ψ₀ は、ヒューマノイド・ロボット向けの公開可能な大規模視覚言語アクション・モデルです。Qwen-based VLM と拡散スタイルのアクション・エキスパートを組み合わせ、Unitree G1 へのプリトレーニング、事後学習、微調整、およびリアルタイム (RTC) デプロイメントのためのスクリプトを提供し、SIMPLE シミュレーション・ベンチマークと複数のベースライン手法による比較を含んでいます。