Ma-Zhuang/OmniNWM

📚 OmniNWM とは何ですか？

OmniNWM（Omniscient Driving Navigation World Models）は、自律走行シミュレーション用のパノラマ型ワールドモデルを構築する研究用コードベースです。このモデルは、車両の計画された軌道から、6台の周囲カメラすべてに対してRGB画像、セマンティックマップ、深度マップ、3次元占有グリッドを含む、完全なセンサー出力を同時に生成します。生成された世界は密度が高く、マルチモーダルであるため、現実的なドライブ動画のレンダリングだけでなく、ドライブポリシーの訓練や評価に用いるクローズドループ環境としても利用可能です。

🎯 コアアイデア

アイデア	意味
マルチモーダル生成	1つのニューラルネットワークが360°全体のRGB、セマンティクス、深度、3次元占有を予測します。
正規化されたPlückerレイマップ	モデルがピクセルレベルの予測を正確な車両動作に変換できる幾何学的表現です。
自己回帰的安定性	「フォースリング」戦略により、真実の動画長を超えて生成を継続しても、漂移せずに安定して動作します。
占有に基づく密な報酬	予測された占有グリッドを報酬信号に変換でき、現実的なクローズドループポリシー評価を可能にします。
ゼロショット転移	同じチェックポイントが、他のドライブデータセット（例：nuPlan）や異なるカメラ構成でも、追加のファインチューニングなしで動作します。

🛠️ すぐに始める（クイックスタート）

クローンとセットアップ

git clone https://github.com/Ma-Zhuang/OmniNWM.git && cd OmniNWM
mkdir -p pretrained data
pip install -e .
pip install "huggingface_hub[cli]"

transformers のパッチ – modeling_utils.py を指示通り編集（torchバージョンのチェックを 2.3 から 2.5 に変更）。

チェックポイントのダウンロード

huggingface-cli download Arlolo0/OmniNWM --local-dir ./pretrained
huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./pretrained

データ準備 – READMEに記載されたリンクから、nuScenes v1.0のtrain/valスプリットおよび12 Hzの深度/セグメンテーションアノテーションをダウンロード。リポジトリに示されたディレクトリ構造に従って配置（例：data/nuscenes/CAM_FRONT、data/nuscenes_12hz_depth_unzipなど）。

🚀 一般的なワークフロー

タスク	コマンド	備考
推論 – 軌道から動画生成	`torchrun --nproc-per-node 8 tools/inference.py configs/inference/infer.py`	6台のカメラすべてで33フレームの動画を生成（448×800）。
分布外（nuPlan）推論	`torchrun --nproc-per-node 8 tools/inference.py configs/inference/infer_nuplan.py`	nuPlanデータセット上で手動で提供された軌道を使用。
クローズドループ VLA テスト	`torchrun --nproc-per-node 8 tools/inference.py configs/inference/infer_with_occ_vla.py`	モデルの占有予測を報酬としてフィードバックするループ（321フレーム）。
学習 – ステージ付き	`bash dist_train_mlp.sh configs/train/stage_1.py`（その後ステージ2、ステージ3）	ステージごとに解像度と動画長を増やし、学習の安定性を維持。

📦 リポジトリの内容

omninwm/models/OmniNWM-VLA – Tri-MMi三モーダル融合とVLA（Vision-Language-Action）パイプラインの実装。
configs/ – 推論および3つの学習ステージ用の即時実行可能なYAML/py設定ファイル。
tools/ – 分散推論用スクリプト（inference.py）。
pretrained/ – ダウンロードしたチェックポイント（VAE、占有モデル、Open-Sora-v2重み）のプレースホルダー。
data/ – nuScenesの画像、深度マップ、セグメンテーションマスクの期待されるディレクトリ構造。

📖 キャイト

OmniNWMを研究で使用する場合、arXiv論文を引用してください：

@article{li2025omninwm,
  title={OmniNWM: Omniscient Driving Navigation World Models},
  author={Li, Bohan and Ma, Zhuang and Du, Dalong and Peng, Baorui and Liang, Zhujin and Liu, Zhenqiang and Ma, Chao and Jin, Yueming and Zhao, Hao and Zeng, Wenjun and others},
  journal={arXiv preprint arXiv:2510.18313},
  year={2025}
}

⚖️ ライセンス

Apache License 2.0（LICENSE を参照）。

要するに：OmniNWMは、ドライブ計画を高忠実度のマルチセンサーシミュレーションに変換する最先端のワールドモデルであり、現実的な動画合成と自律走行研究のためのクローズドループポリシーテストを両立可能にします。