nvidia-cosmos/cosmos-transfer1

解決する課題

Cosmos-Transfer1は、制御可能なマルチモーダル世界生成のためのフレームワークを提供します。ユーザーは、深度マップ、セグメンテーションマスク、エッジ検出、LiDAR、HDMapsなどのさまざまな入力信号を、リアルなビデオシミュレーションに変換できます。これは、自動運転シミュレーションやロボティクスなど、構造化された入力から高忠実度の視覚データを生成する必要がある物理AIアプリケーションにおいて特に有用です。

仕組み

制御可能なジェネレーターとして機能する基盤モデルアーキテクチャを使用しています。ユーザーは、テキストプロンプトと1つ以上の条件付き入力（深度マップやセグメンテーションビデオなど）を提供します。このモデルはControlNetベースのアプローチを使用して生成プロセスをガイドし、出力ビデオが入力モダリティによって提供される空間的および時間的制約を確実に遵守するようにします。また、720pの出力を4K解像度に変換するアップスケーラーが含まれており、必要な拡散ステップ数を減らすことで推論を高速化する蒸留もサポートしています。

対象ユーザー

このプロジェクトは、シミュレーション、ロボティクス、または自動運転開発のための世界モデルを構築、トレーニング、またはカスタマイズする必要がある物理AIの研究者やエンジニア向けに設計されています。特定のセンサーや構造入力に基づいて合成データを生成したり、環境をシミュレートしたりする必要があるユーザーを対象としています。

ハイライト

• 深度、セグメンテーション、エッジ、ぼかし、LiDAR、HDMap入力の組み合わせを使用したマルチモーダル条件付き生成をサポート。
• 生成されたビデオの解像度を向上させる4Kアップスケーラーを搭載。
• ポストトレーニング、ゼロからの事前トレーニング、および推論を高速化するためのモデル蒸留用のスクリプトを提供。
• 単一視点から複数視点への生成を含む、自動運転 (AV) アプリケーション向けの専門的なサポート機能を備えています。
• コンテンツの安全性とモデレーションのために Llama Guard 3 を統合。