thu-ml/Motus

Motus – 統合潜在アクションワールドモデル

概要 – Motus は、身体化ロボットのための潜在アクションワールドモデルを構築するオープンソースの研究コードベースです。Mixture-of-Transformers (MoT) アーキテクチャを使用して、3 つのエキスパートモジュール（ビデオ生成モデル (VGM)、視覚言語モデル (VLM)、および 2 つの小型の「理解」および「アクション」エキスパート）を統合します。システムは、古典的なワールドモデル予測、視覚言語アクション推論、逆動力学、ビデオ生成、または統合ビデオアクション予測など、複数のモードで実行できます。

主要コンポーネント

コンポーネント	ベースモデル（事前トレーニング済み）	サイズ
VGM（ビデオ生成）	Wan2.2-5B	~5 B パラメータ
VLM（視覚言語）	Qwen3-VL-2B	~2.1 B パラメータ
アクションエキスパート	–	~0.64 B
理解エキスパート	–	~0.25 B
合計	–	~8 B

VGM と VLM は既存の Hugging Face チェックポイントから取得され、2 つの小型エキスパートはゼロからトレーニングされます。Motus はオプティカルフローの「デルタピクセル」から潜在アクションを学習し、ビデオフレームから直接、細かいロボットの動きを予測できます。

トレーニングパイプライン – Motus は 3 段階のプロセスに従います。

1. 基盤事前トレーニング：大規模なウェブスケールのビデオおよび画像テキストデータで VGM と VLM を事前トレーニングします。
2. ステージ 1 – 自己中心的な人間のビデオ、合成データ、およびマルチロボット軌道のみで VGM をトレーニングします。
3. ステージ 2 – 同じデータにタスク非依存データを加えて、完全な MoT（3 つのエキスパートすべて）をトレーニングし、潜在アクション表現を学習します。
4. ステージ 3 – ターゲットロボットのタスク軌道（例：RoboTwin 2.0）でシステム全体を微調整します。パイプラインは 6 層の「データピラミッド」として示されています。

サポートされるデータ – リポジトリは 3 つのデータセット形式を取り込めます。

• RoboTwin 2.0 – クリーンな分割とランダム化された分割を備えたシミュレーションスイート。
• 実世界 – AC-One および Aloha-Agilex-2 ロボットログ。
• マルチカメラ – 3 ビュー画像を連結するためのユーティリティ。

変換スクリプト（data/robotwin2/robotwin_data_convert/ および data/utils/multi_camera_concat.py）は、生のログを必要なディレクトリレイアウトに再形成するのに役立ちます（DATA_FORMAT.md を参照）。

モデルの実行

• 推論 – 軽量な推論スクリプトは、RoboTwin 2.0 で評価するか、実世界データで最小限のデモを実行できます。README は、コマンドラインフラグと設定ファイル（configs/robotwin.yaml、configs/ac_one.yaml）について INFERENCE.md を参照しています。
• ハードウェア – 事前エンコードされた T5 エンコーダーを使用した推論には、>24 GB VRAM（RTX 5090）が必要です。事前エンコードなしの完全な推論またはトレーニングには、40〜80 GB GPU（A100/H100/B200）が必要です。

チェックポイント – 事前トレーニング済みチェックポイントは Hugging Face でホストされています。

• Motus_Wan2_2_5B_pretrain – VGM バックボーンのみ。
• Motus – 潜在アクション事前トレーニング後の完全なモデル（ステージ 2）。
• Motus_robotwin2 – RoboTwin 2.0 タスクで微調整（ステージ 3）。

README には、huggingface-cli を使用してそれらをダウンロードするための短いスクリプトが含まれており、設定ファイルをローカルパスにポイントする方法が示されています。

パフォーマンス – RoboTwin 2.0 ベンチマーク（タスクごとに 50 のクリーンなエピソード + 500 のランダム化されたエピソード、50 タスクを統合）で、Motus は 87.02% の平均成功率 を達成しており、著者らは X-VLA より +15%、π₀.₅ より +45% 上回ると主張しています。

開始方法

1. リポジトリをクローンし、conda 環境を作成します（Python 3.10）。
2. PyTorch 2.7.1（CUDA 12.8）と flash-attn を高速アテンション用にインストールします。
3. Hugging Face から必要なチェックポイントを取得します。
4. RoboTwin でのクイックテストには INFERENCE.md に従うか、完全な 3 段階トレーニングには TRAINING.md に従ってください。

対象ユーザー – ロボットの知覚アクションループの統合モデルを探求する研究者、ビデオ予測の生成とロボットの関節コマンドの出力の両方ができるベースラインを必要とする開発者、および大規模な視覚言語基盤の上に構築された潜在アクション表現の実験に興味があるすべての人。

引用 – 著者は、arXiv プレプリント（arXiv:2512.13030）用のコピー可能な BibTeX エントリを提供しています。