mimic-video/mimic-video

mimic‑video: 汎用ロボット制御のためのビデオアクションモデル

概要 – 大規模な事前学習済みビデオモデルを ビデオアクションモデル（VAM）に変換する研究コードベース。ビデオバックボーンを凍結し、その潜在特徴に小さなアクションデコーダを訓練することで、言語条件付きロボットポリシーを学習し、効率的に実行できます（アクションチャンクごとに1回のビデオフォワードパス）。著者らは、2B パラメータの Cosmos‑Predict2 ビデオモデルでこのアプローチを実証し、Bridge および LIBERO ロボット操作スイートのチェックポイントをリリースしています。

主要コンポーネント

• data_preprocessing – 生のロボットデモ（Bridge、LIBERO）を safetensors に変換し、T5 言語埋め込みとオプションのビデオ埋め込みを事前計算するスクリプト。
• model – データローダー、アクションデコーダアーキテクチャ、トレーニングループ、推論ユーティリティ。NVIDIA Cosmos‑Predict2 コードベースに基づき、torchrun を使用してマルチノード/GPU スケーリングを実現。
• eval – SIMPLER‑Bridge 環境（人間参加型バリアントを含む）および標準 LIBERO ベンチマークの評価ハーネス。

始め方

1. UV パッケージマネージャーをインストールし、環境を作成します（GPU に一致する CUDA エクストラを選択、例: uv sync --extra cu126）。
2. （オプション）hf auth login でログイン後、Hugging Face からリリース済みチェックポイントを取得します。
3. トレーニングセクションに従い、ビデオモデルを微調整するか、独自のデータセットでアクションデコーダを事前学習します。プロセスには以下が含まれます：
   • ビデオファイルと対応するテキスト命令を準備。
   • precompute_t5_embeddings.py（およびオプションで precompute_video_embeddings.py）を実行。
   • 提供された YAML 設定ファイルを編集してデータを指定。
   • torchrun -m scripts.train … でトレーニングを開始。
4. 環境固有の依存関係（Vulkan、ManiSkill2 など）をインストール後、提供された評価スクリプト（eval.sh または eval_hil.sh）を実行します。

典型的なユースケース – 大規模なビデオ基盤モデルを持ち、ビデオネットワーク全体を再トレーニングせずに言語条件付きロボットコントローラを迅速に取得したい研究者向け。このフレームワークにより、新しいロボットデータセットをプラグインし、同じビデオバックボーンを再利用し、標準的な操作ベンチマークで評価できます。

ライセンス – Apache 2.0。

引用 – コードまたはチェックポイントを使用する場合は、arXiv 論文を引用してください：

@misc{pai2025mimicvideo,
  title={mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs},
  author={Jonas Pai and Liam Achenbach and Victoriano Montesinos and Benedek Forrai and Oier Mees and Elvis Nava},
  year={2025},
  eprint={2512.15692},
  archivePrefix={arXiv},
  primaryClass={cs.RO},
  url={https://arxiv.org/abs/2512.15692}
}