UWMILab/UniWM

UniWM – 視覚ナビゲーションのための統合的世界モデル

何であるか

• ECCV 2026論文に伴う研究用コードベースで、エゴセントリック視覚ナビゲーション向けのメモリ拡張型世界モデルを提案。このモデルは、視覚的予測（未来のフレームの予測）と計画を、単一のマルチモーダル自己回帰バックボーンで統合する。

主なアイデア

• 統合バックボーン – モジュール型パイプラインとは異なり、同じトランスフォーマー型モデル（名前はAnole）が未来の観測を想像し、行動を決定する。これにより、想像された視覚的結果と選択された行動が密接に連携される。
• 階層的メモリ – 短期的な知覚的手がかりと長期的な経路コンテキストを併せて保存し、長期間にわたる推論を可能にしつつ、一貫性を維持する。
• マルチモーダル入力 – エゴセントリック画像シーケンスに加え、各ステップのメタデータ（行動、姿勢）をモデルに入力。出力は次の行動、次のフレーム、または両方のいずれかとなる。

データセット

• 著者らは Hugging Face 上に UniWM Dataset を公開。訓練・評価用の複数の屋内ナビゲーションスプリット（go_stanford, recon, sacson, scand）と、汎化テスト用の未観測スプリット tartandrive を含む。各経路フォルダにはエゴセントリックJPEGフレームと、行動と姿勢を含む traj_data.pkl が含まれる。

導入方法

1. 環境 – Python 3.10 を使用する Conda 環境を作成し、bash install.sh を実行（PyTorch、依存関係、Anole コードをインストール）。
2. データ – bash download_data.sh を実行して、すべてのスプリットを data/ にダウンロード。
3. 学習 – サンプルの torchrun コマンドが提供されている。モデル（anole）、データセット（カンマ区切り）、画像シーケンス長（例：784フレーム）、その他のフラグを指定。マルチGPU学習をサポート。
4. 評価 – 3つのモードが利用可能：
   • single-step（1ステップ予測）
   • task-level（全経路評価、オプションでメモリバンク推論）
   • rollout（エピソード全体の自己回帰生成）

関連研究

• リポジトリは、著者らの以前のプロジェクト GOViG（視覚観測からLLM駆動の指示生成）と HA‑VLN（離散的・連続的ナビゲーションを混合し、社会的意識制約を含むベンチマーク）を参照している。

誰が使うべきか

• 計画中に未来の視点を想像する必要があるエムベデッドエージェントを開発する研究者。
• ナビゲーションタスク向けにメモリ拡張トランスフォーマーを実験したい開発者。
• ECCV 2026の結果を再現するための即時実行可能なデータセットと学習スクリプトを探している人。

ライセンスと引用

• MITライセンス。コードまたはデータセットを使用する場合は、arXiv論文（2510.08713）を引用してください。

---

すべての詳細はリポジトリの README から直接取得。