physical-superintelligence-lab/Psi0

何を解決するか

Psi0 は、人間型ロボットの機敏なロコマニピュレーション（移動と操作の統合）を可能にするオープンな視覚言語行動（VLA）モデルです。大規模な人間のエゴセントリック動画データと少量のロボット固有データを活用することで、長時間にわたる複雑なタスクを実行する人間型ロボットの実現を支援します。

動作の仕組み

Psi0 は階層的なアーキテクチャを採用し、視覚的および言語的指示を物理的行動に変換します。

• System-2（視覚言語バックボーン）： Qwen3-VL-2B-Instruct をベースに、視覚観測とテキスト指示から高レベルの意味特徴を抽出します。
• System-1（行動エキスパート）： マルチモーダル拡散変換器（約5億パラメータ）で、System-2 から得られた特徴を入力として、将来の全身行動のチャンクを予測します。
• System-0（トラッキングコントローラ）： RLベースのコントローラで、予測された下半身コマンドを実行し、物理的な安定した移動を確保します。

モデルはまず、大規模な人間のエゴセントリック動画データで事前学習を行い、タスクの意味と視覚表現を学習した後、実世界の遠隔操作ロボットデータで微調整（post-training）を行い、ロボットの身体的ダイナミクスを習得します。

対象ユーザー

本プロジェクトは、人間型ロボット（特に Unitree G1）を扱うロボット研究者および開発者、および全身制御用のVLAモデルに興味を持つ人々を対象としています。

主な特徴

• 効率的なファインチューニング： たった80本の軌道データで新しい機敏なロコマニピュレーションスキルを習得可能。
• ハイブリッドアーキテクチャ： VLMバックボーンと拡散変換器を組み合わせた行動予測。
• 統合性： 人間型ロボット向けの強力な全身コントローラ「SONIC」との統合をサポート。
• シミュレーション対応： SIMPLEシミュレータ（MuJoCo物理エンジン、Isaac Simレンダリング）を用いたベンチマークが可能。
• オープンアセット： Hugging Face 上でオープンソースのチェックポイントとデータセットを提供。