luciddreamer-cvlab/LucidDreamer

何を解決するか

LucidDreamer は、単一の画像とテキストプロンプトからガウシアンスプラッティングを用いた 3D シーンの生成を可能にします。特定のドメインに特化した学習データが不要な状態で、さまざまなドメインにおける高品質な 3D 環境を生成するという課題に対処します。

動作方法

このシステムは、テキストプロンプトと入力画像をもとにインペインティング処理を行い、シーンを「夢見る」ように生成します。Stable Diffusion (SD 1.5) や ZoeDepth を活用して深度推定を行い、ガウシアンスプラッティングラスタライザーを用いて生成されたビューを 3D シーンに変換します。ユーザーは生成フェーズおよびレンダリングフェーズの両方でカメラパスを指定でき、生成される 3D 出力の視点を制御できます。

対象ユーザー

このツールは、コンピュータビジョンおよび 3D グラフィックス分野の研究者や開発者向けに設計されており、2D 入力から没入型の 3D シーンを生成したい人、AI駆動の 3D コンテンツ作成ツールを使用するアーティストに適しています。

特徴

• ドメインフリー生成: 特定の学習が不要な状態で、さまざまな環境における 3D シーンを生成可能。
• 柔軟な入力: 単一の画像とテキストプロンプトの組み合わせに対応。
• カスタムカメラパス: 生成およびレンダリングに向けたさまざまなカメラ移動（例: rotate360, lookaround）をサポート。
• SDとの統合: 精度の高いインペインティング結果を得るために、カスタム Stable Diffusion チェックポイントをサポート。