nv-tlabs/omni-dreams

何を解決するか

OmniDreams は自律走行シミュレーション向けに設計されたワールドモデルです。リアルタイムで写実的なマルチカメラ映像を生成する問題を解決し、自律走行車両システムの訓練およびテストに使用できる合成ドライブ環境の作成を可能にします。

動作方法

このモデルは自己回帰的生成プロセスを使用しています。シーンの外観のアンカーとして1枚の実際のRGBフレームを、ドライブの文脈のためのテキストプロンプトを、各フレームのHDマップ画像とトラジェクトリポーズを構造的条件として入力します。フレームをチャンク単位で生成し、各チャンクを次のステップにフィードバックすることで、時間的に一貫性を維持します。

対象ユーザー

このプロジェクトは、自律走行シミュレーションおよびワールドモデルに取り組む研究者や開発者を主な対象としており、特に高スペックのNVIDIAハードウェア（例：8-GPU Ampere/Hopperノード）にアクセスできる人向けです。

特徴

• リアルタイム生成: シミュレーション用に写実的なマルチカメラ映像を生成します。
• 構造的条件付き生成: HDマップとトラジェクトリポーズを使用して生成をガイドします。
• 訓練後処理機能: Cosmos2 SV-HDMapワールドモデルをさまざまな蒸留手法を使って微調整するためのツールを含みます。
• 統合性: 交互式ドライブやバッチ推論用の補完プロジェクト「FlashDreams」と連携して動作します。