nv-tlabs/omni-dreams

解決する課題

Cosmos-Dreamsは、自動運転シミュレーション向けに設計された世界モデルです。フォトリアルなマルチカメラビデオをリアルタイムで生成する問題を解決し、開発者が特定の制約や条件下で走行シナリオをシミュレートすることを可能にします。

仕組み

このモデルは、自己回帰プロセスを使用してビデオチャンクを生成します。シーンの外観のアンカーとして単一の実際のRGBフレームを、走行コンテキストとしてテキストプロンプトを、そして構造化された条件付けを提供するためにフレームごとのHDマップ画像と軌跡ポーズを入力として受け取ります。生成された各チャンクは、時間の経過とともにシーンを継続させるためにモデルにフィードバックされます。

対象者

このプロジェクトは、主に自動運転シミュレーションと世界モデルに取り組んでいる研究者や開発者、特にハイエンドのNVIDIAハードウェア（8-GPU Ampere/Hopperノードなど）にアクセスできる方を対象としています。

ハイライト

• リアルタイム生成: シミュレーション用にフォトリアルなマルチカメラビデオを生成します。
• 構造化条件付け: HDマップと軌跡ポーズを使用してビデオ生成をガイドします。
• ポストトレーニングのサポート: student-init、bidirectional teacher、self-forcing distillationなどの手法を使用してモデルを微調整するためのランチャーと設定が含まれています。
• 統合: インタラクティブな走行とバッチビデオ生成のために、コンパニオンプロジェクトであるFlashDreamsと連携します。