インタラクティブなワールドシミュレーションのためのNVIDIA Cosmos 3オープンモデル
Overview of Cosmos 3 Open Models
NVIDIAは、Cosmos 3ファミリーの4つのオープンウェイトチェックポイントをリリースし、Cosmosワールドモデルプラットフォームを拡張しました。これらの16Bパラメータモデルは、インタラクティブなワールドシミュレーションや、マルチセンサー・マルチビューの運転シーン生成を促進するように設計されています。OpenMDW1.1ライセンスの下でリリースされたこれらのモデルは、研究者や開発者が自律システムやロボティクスのためのシミュレーション環境を構築、適応、改良するための基盤を提供します。
Model Capabilities
4つの新しいチェックポイントは、シミュレーションとデータ生成においてそれぞれ異なる役割を果たします。
- Cosmos3-Nano-Transfer-Auto: オフラインの合成運転データ生成のための双方向モデルです。World Scenario Map (WSM) コントロールとテキストプロンプトによってガイドされ、最大11のカメラビューにわたる同期ビデオと、RGB–LiDARの統合生成をサポートします。
- Cosmos3-Nano-Sim-Auto: Transfer-Autoの因果的に蒸留されたストリーミングバリアントです。少ステップのノイズ除去で同期されたカメラビデオとLiDARの連続的なチャンクを生成し、長時間のインタラクティブな運転ロールアウトを可能にします。
- Cosmos3-Nano-Sim-Transfer: 物理シミュレーターの出力（深度、セグメンテーション、エッジ、ぼかしなど）をフォトリアルなRGBビデオに変換するように設計されており、シミュレーターがグラウンドトゥルースの状態を維持しながら視覚的な観測を生成できるようにします。
- Cosmos3-Nano-Sim-Bimanual: ロボティクスに焦点を当てたこのモデルは、両手ロボットの動作に基づいた視覚的な結果を予測し、YAMやAgiBotのような実施形態のためのインタラクティブなシミュレーションをサポートします。
Technical Architecture and Training
Cosmos 3は、テキスト処理ネットワークと視覚生成ネットワークを統合したMixture-of-Transformersバックボーンを利用しています。システムは圧縮されたビデオ潜在変数上で動作し、時間的因果アテンションによって、モデルが履歴と現在のコントロールを処理しつつ、将来のフレームからのリークを防ぐことができます。
トレーニングプロセスは、安定性とパフォーマンスを向上させるために設計された4段階のレシピに従います。
- Bidirectional Adaptation: 記録されたクリップからドメイン固有のコントロールとビデオの関係を学習します。
- Teacher Forcing: 将来のターゲットをマスクしながら、過去の観測からチャンクを予測します。
- Consistency Distillation: フリーズされた教師モデルを使用して、4つのノイズ除去ステップでチャンクを生成するように学生モデルをトレーニングします。
- Self-Forcing: エラーの蓄積を軽減するために、学生モデル自身の生成履歴でトレーニングを行います。ここでは、フリーズされた教師モデルとスコアモデルが分布一致シグナルを提供します。
Implementation and Adaptation
NVIDIAは各モデルに対してトレーニング後のレシピを提供しており、開発者は特定のセンサーリグ、ロボットの実施形態、または運転ドメインに合わせてチェックポイントを適応させることができます。このフレームワークには、NVIDIA GPUとNVIDIA Container Toolkitを備えたLinux環境が必要です。開発者は、提供されている推論スキルやノートブックを使用して、これらのモデルを既存のシミュレーションパイプラインに統合できます。これらのモデルは、合成環境がポリシー学習をどの程度サポートするかを測定し、基礎となるシミュレーション技術に貢献するための出発点として研究者に提供されています。