AlayaLab/WorldSculpt

Official Implementation for WorldSculpt: Generating Compositional Worlds from Grounded Videos

🌍 WorldSculpt とは何ですか？

WorldSculpt は、通常の RGB 動画（インスタンスマスクと粗い 3D ボックス付き）を、数百個のオブジェクトを含むシーン全体の単一の構成メッシュに変換する研究用システムです。これは、1オブジェクト用の生成的事前モデル（Pixal3D モデル）を再利用し、遮蔽されたマルチビュー入力を処理できるように微調整することで実現されます。その結果、オブジェクトレベルの幾何学を保持した高密度で編集可能な 3D メッシュが得られます。

🚀 主な特徴

特徴	意味
複雑なシーン用の1オブジェクト事前モデル	個々のオブジェクトで訓練されたモデルを活用し、多数のアイテムを含む部屋や屋外環境を再構築可能。
微調整された Pixal3D	Pixal3D 生成モデルを遮蔽されたマルチビュー動画フレームを受け入れられるように調整。
UE‑MeshyScene ベンチマーク	コンポジショナルメッシュ化を評価するための、フレームごと・インスタンスごとのアノテーション付き新データセット（UE‑MeshyScene）。
Marble デモ	3‑DGS「Marble」世界をオブジェクトレベルのメッシュに変換できることが示されています。
ComfyUI インテグレーション	コミュニティが開発したノードベース UI で、ComfyUI 内でドラッグアンドドロップで簡単に利用可能。
オープンソースのチェックポイントとデータ	モデル重みとベンチマークデータは Hugging Face にホストされ、即時ダウンロード可能。

📦 セットアップ手順（概要）

基本環境 – まず Microsoft の TRELLIS.2 スタックをインストールしてください（リポジトリにはインストールガイドへのリンクがあります）。
追加依存関係 – natten（CUDA 対応）、utils3d、および Python パッケージ群（torch、transformers、diffusers など）をインストール。
モデルのダウンロード – Hugging Face から WorldSculpt のチェックポイントと Pixal3D 事前モデルを取得。
データのダウンロード – 同じハブから UE‑MeshyScene または Marble デモデータセットを取得。
推論実行 – 提供された inference.sh スクリプトを使用し、入力シーンフォルダ、出力フォルダ、チェックポイントの場所、およびいくつかのハイパーパラメータ（例：SS_STEP、SHAPE_STEP、FACE_BUDGET）を指定。

🛠️ 例のコマンド

INPUT_ROOT=./input/UE-MeshyScene \
OUTPUT_ROOT=./output \
CKPT_ROOT=./pretrained \
SAMPLER=official SS_STEP=15000 SHAPE_STEP=15000 \
RENDER=1 FACE_BUDGET=1000000 GPU=0 \
./inference.sh scene_00001

スクリプトはシーンフォルダ内の transforms.json を読み取り、モデルを実行し、結果のメッシュ（およびオプションのレンダリング）を ./output に書き出します。

🎨 ComfyUI での利用方法

コミュニティメンバーの Terry Jia が ComfyUI‑WorldSculpt プラグインを作成しました。このプラグインは同じ推論パイプラインを ComfyUI ノードにラップし、シェルコマンドを書かずに視覚的なワークフローを構築できます。インストール手順やノードグラフの例は、リンク先の GitHub リポジトリをご覧ください。

📚 リソース

プロジェクトページ – https://alaya-lab.github.io/WorldSculpt (デモ動画、論文リンク、視覚的結果)
ArXiv 論文 – https://arxiv.org/abs/2609.05416 (詳細な技術情報)
モデルハブ – https://huggingface.co/AlayaLab/WorldSculpt (チェックポイント)
データセットハブ – https://huggingface.co/datasets/AlayaLab/Worldsculpt_data (UE‑MeshyScene、Marble)
ComfyUI インテグレーション – https://github.com/jtydhr88/ComfyUI-WorldSculpt

📖 引用

WorldSculpt を研究で使用する場合、README に記載されている arXiv プリプリントを引用してください。