AlayaLab/WorldSculpt

Official Implementation for WorldSculpt: Generating Compositional Worlds from Grounded Videos

🌍 什么是 WorldSculpt？

WorldSculpt 是一个研究级系统，可将普通 RGB 视频（附带实例掩码和粗略 3D 框）转换为一个包含数百个物体的整个场景的单一组合网格。它通过复用一个单物体生成先验模型（Pixal3D 模型），并对其进行微调以处理遮挡和多视角输入来实现。结果是一个密集且可编辑的 3D 网格，保留了物体级别的几何结构。

🚀 主要特性

特性	含义
复杂场景的单物体先验	利用在单个物体上训练的模型，重建包含多个物品的房间或室外环境。
微调后的 Pixal3D	将 Pixal3D 生成模型调整为可接受遮挡的多视角视频帧。
UE‑MeshyScene 基准测试	一个新的数据集（UE‑MeshyScene），包含逐帧、逐实例的标注，用于评估组合网格化效果。
Marble 演示	展示该流程也可将 3‑DGS “Marble” 世界转换为物体级别的网格。
ComfyUI 集成	社区构建的基于节点的 UI，可在 ComfyUI 内通过拖拽轻松使用。
开源检查点与数据	模型权重和基准数据托管在 Hugging Face，可立即下载。

📦 快速入门（概览）

基础环境 – 首先安装 Microsoft 的 TRELLIS.2 堆栈（仓库指向其安装指南）。
额外依赖 – 安装 natten（CUDA 友好）、utils3d 以及一系列 Python 包（torch、transformers、diffusers 等）。
下载模型 – 从 Hugging Face 拉取 WorldSculpt 检查点和 Pixal3D 先验模型。
下载数据 – 从同一仓库获取 UE‑MeshyScene 或 Marble 演示数据集。
运行推理 – 使用提供的 inference.sh 脚本，指定输入场景文件夹、输出文件夹、检查点位置以及若干超参数（如 SS_STEP、SHAPE_STEP、FACE_BUDGET）。

🛠️ 示例命令

INPUT_ROOT=./input/UE-MeshyScene \
OUTPUT_ROOT=./output \
CKPT_ROOT=./pretrained \
SAMPLER=official SS_STEP=15000 SHAPE_STEP=15000 \
RENDER=1 FACE_BUDGET=1000000 GPU=0 \
./inference.sh scene_00001

该脚本读取场景文件夹内的 transforms.json，运行模型，并将网格（及可选渲染）写入 ./output。

🎨 与 ComfyUI 一起使用

社区成员 Terry Jia 创建了 ComfyUI‑WorldSculpt 插件。它将相同的推理流程封装为 ComfyUI 节点，让您无需编写 shell 命令即可构建可视化工作流。请参阅链接的 GitHub 仓库以获取安装说明和示例节点图。

📚 资源

项目页面 – https://alaya-lab.github.io/WorldSculpt (演示视频、论文链接、视觉结果)
ArXiv 论文 – https://arxiv.org/abs/2609.05416 (完整技术细节)
模型库 – https://huggingface.co/AlayaLab/WorldSculpt (检查点)
数据集库 – https://huggingface.co/datasets/AlayaLab/Worldsculpt_data (UE‑MeshyScene, Marble)
ComfyUI 集成 – https://github.com/jtydhr88/ComfyUI-WorldSculpt

📖 引用

如果在研究中使用 WorldSculpt，请引用 README 中提供的 arXiv 预印本。