WorldGen: 몰입형 360° 환경을 만들기 위한 빠른 텍스트‑투‑3D 씬 생성기
WorldGen: 몰입형 360° 환경을 만들기 위한 빠른 텍스트‑투‑3D 씬 생성기
해결하는 문제
WorldGen은 사용자가 간단한 텍스트 프롬프트나 2D 이미지만으로 몇 초 만에 완전한 3D 씬을 만들 수 있게 해줍니다. 수작업 3D 모델링이 필요 없게 하여 게임, 시뮬레이션, 로봇공학, 가상현실용 몰입형 환경을 빠르게 생성할 수 있습니다.
작동 방식
WorldGen은 텍스트 또는 이미지를 3D 표현으로 변환할 수 있는 파이프라인을 활용해 3D 씬을 생성합니다. 내부적으로 360° 파노라마 이미지(등각 사각형)로부터 씬을 생성하는 기능을 지원하며, 360° 깊이 추정을 위한 DA-2와 이미지 생성을 위한 FLUX.1‑dev와 같은 도구를 사용합니다. 시스템은 씬을 Gaussian Splatting(.ply) 형식이나 3D 메시 형태로 출력할 수 있어 유연한 렌더링과 실시간 탐색이 가능합니다.
대상 사용자
이 도구는 게임, VR/AR, 로봇공학 분야의 개발자와 크리에이터를 위해 설계되었으며, 3D 환경을 빠르게 프로토타이핑하거나 시뮬레이션용 합성 데이터를 생성해야 하는 경우에 적합합니다.
주요 특징
- 즉시 생성: 텍스트 또는 이미지로부터 몇 초 만에 전체 3D 씬을 생성합니다.
- 360° 탐색: 루프 클로저가 가능한 일관된 자유 시점 탐색을 지원합니다.
- 다양한 씬 지원: 실내·실외 환경 모두에 적용 가능하며, 사실적인 씬과 스타일화된 씬을 모두 다룹니다.
- 유연한 출력: 다양한 렌더링 요구에 맞춰 Gaussian Splatting과 메시 생성 모두를 지원합니다.
- 저 VRAM 모드: 24GB 미만 VRAM을 가진 GPU에서도 작동하도록 약 10GB 메모리를 사용합니다.
- 실시간 렌더링: 사용자 정의 카메라 궤적을 이용해 어떤 해상도에서도 렌더링이 가능합니다.
요약: WorldGen은 텍스트 프롬프트나 이미지를 몇 초 만에 몰입형 3D 씬으로 변환하는 도구로, VR, 게임 및 시뮬레이션을 위해 Gaussian Splatting과 메시 출력 모두를 지원합니다.
제목: WorldGen: 몰입형 360° 환경을 만들기 위한 빠른 텍스트‑투‑3D 씬 생성기
Sources
- undefinedZiYang-xie/WorldGen