ZiYang-xie/WorldGen

🌍 WorldGen - Generate Any 3D Scene in Seconds

What it solves

WorldGen は、シンプルなテキストプロンプトまたは 2D 画像から数秒で完全な 3D シーンを作成できるようにします。手動の 3D モデリングが不要になり、ゲーム、シミュレーション、ロボティクス、バーチャルリアリティ向けの没入型環境を迅速に生成できます。

How it works

WorldGen は、テキストまたは画像を 3D 表現に変換できるパイプラインを活用して 3D シーンを生成します。内部では 360° パノラマ画像（等距円筒）からシーンを生成することをサポートし、DA-2 を用いた 360° 深度推定や FLUX.1-dev を用いた画像生成を利用しています。システムはシーンを Gaussian Splatting（.ply）または 3D メッシュとして出力でき、柔軟なレンダリングとリアルタイム探索が可能です。

Who it’s for

このツールは、ゲーム、VR/AR、ロボティクス業界の開発者やクリエイター向けに設計されており、3D 環境の迅速なプロトタイピングやシミュレーション用の合成データ生成に役立ちます。

Highlights

  • Instant Generation: テキストまたは画像から数秒でフル 3D シーンを作成。
  • 360° Exploration: ループクロージャを伴う一貫した自由視点探索をサポート。
  • Versatile Scene Support: 室内外の環境、リアルなシーンやスタイライズドシーンの両方に対応。
  • Flexible Output: 異なるレンダリングニーズに合わせて Gaussian Splatting とメッシュ生成の両方をサポート。
  • Low VRAM Mode: 24GB 未満の VRAM（約 10GB 使用）でも動作するモードを搭載。
  • Real-time Rendering: 任意の解像度でのリアルタイムレンダリングとカスタムカメラ軌道をサポート。