ZiYang-xie/WorldGen

🌍 WorldGen - Generate Any 3D Scene in Seconds

What it solves

WorldGen은 간단한 텍스트 프롬프트 또는 2D 이미지만으로 몇 초 안에 완전한 3D 씬을 만들 수 있게 해줍니다. 수동 3D 모델링이 필요 없으며, 게임, 시뮬레이션, 로보틱스, 가상 현실을 위한 몰입형 환경을 빠르게 생성할 수 있습니다.

How it works

WorldGen은 텍스트나 이미지를 3D 표현으로 변환할 수 있는 파이프라인을 활용해 3D 씬을 생성합니다. 내부적으로 360° 파노라마 이미지(등거리 사각형)에서 씬을 생성하는 것을 지원하며, DA-2를 이용한 360° 깊이 추정 및 FLUX.1-dev를 이용한 이미지 생성을 사용합니다. 시스템은 씬을 Gaussian Splatting(.ply) 또는 3D 메쉬 형태로 출력할 수 있어 유연한 렌더링과 실시간 탐색이 가능합니다.

Who it’s for

이 도구는 게임, VR/AR, 로보틱스 산업의 개발자와 크리에이터를 위해 설계되었으며, 3D 환경을 빠르게 프로토타이핑하거나 시뮬레이션용 합성 데이터를 생성하는 데 필요합니다.

Highlights

  • Instant Generation: 텍스트 또는 이미지로부터 몇 초 안에 전체 3D 씬을 생성합니다.
  • 360° Exploration: 루프 클로저가 포함된 일관된 자유 시점 탐색을 지원합니다.
  • Versatile Scene Support: 실내·실외 환경 모두에 적용 가능하며, 사실적인 씬과 스타일화된 씬을 모두 지원합니다.
  • Flexible Output: 다양한 렌더링 요구에 맞춰 Gaussian Splatting과 메쉬 생성을 모두 지원합니다.
  • Low VRAM Mode: 24GB 미만 VRAM(약 10GB 사용)에서도 동작하는 모드를 포함합니다.
  • Real-time Rendering: 任意의 해상도로 실시간 렌더링 및 커스텀 카메라 트래젝터리를 지원합니다.