WorldGen: 没入感のある360°環境を作成するための高速なtext-to-3Dシーンジェネレーター

何を解決するか

WorldGenを使用すると、ユーザーは簡単なテキストプロンプトや2D画像から、わずか数秒で完全な3Dシーンを作成できます。手動での3Dモデリングの必要性を排除し、ゲーム、シミュレーション、ロボティクス、および仮想現実（VR）のための没入型環境の迅速な生成を可能にします。

仕組み

WorldGenは、テキストまたは画像を3D表現に処理できるパイプラインを活用して3Dシーンを生成します。内部的には、360°パノラマ画像（equirectangular）からのシーン生成をサポートしており、360°の深度推定にはDA-2を、画像生成にはFLUX.1-devを利用しています。システムは、シーンをGaussian Splatting (.ply)または3Dメッシュとして出力できるため、柔軟なレンダリングとリアルタイムの探索が可能です。

対象ユーザー

このツールは、ゲーム、VR/AR、およびロボティクス業界の開発者やクリエイターで、3D環境の迅速なプロトタイプ作成や、シミュレーション用の合成データの生成が必要な方を対象としています。

ハイライト

• Instant Generation: テキストまたは画像から、数秒で完全な3Dシーンを作成します。
• 360° Exploration: ループクロージャを伴う、一貫性のある自由視点探索をサポートします。
• Versatile Scene Support: リアルなシーンからスタイリッシュなシーンまで、屋内および屋外環境の両方に対応します。
• Flexible Output: さまざまなレンダリングのニーズに合わせて、Gaussian Splattingとメッシュ生成の両方をサポートします。
• Low VRAM Mode: 24GB未満のVRAMを持つGPU向けのモードが含まれています（約10GBを使用）。
• Real-time Rendering: カスタムのカメラ軌跡を使用して、任意の解像度でのレンダリングをサポートします。