luciddreamer-cvlab/LucidDreamer
Official code for the paper "LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes".
해결하는 문제
LucidDreamer는 단일 이미지와 텍스트 프롬프트를 사용하여 가우시안 스플래터링을 활용한 3D 장면 생성을 가능하게 합니다. 특정 도메인에 특화된 학습 데이터 없이 다양한 분야에서 고품질 3D 환경을 생성하는 문제를 해결합니다.
작동 방식
이 시스템은 텍스트 프롬프트와 입력 이미지를 기반으로 인페인팅 프로세스를 수행하여 장면을 '꿈꾸듯' 생성합니다. Stable Diffusion (SD 1.5) 및 ZoeDepth를 활용하여 깊이 추정을 수행하고, 가우시안 스플래터링 래스터라이저를 사용해 생성된 뷰를 3D 장면으로 변환합니다. 사용자는 생성 및 렌더링 단계에서 카메라 경로를 지정하여 생성된 3D 출력의 시점 제어가 가능합니다.
대상 사용자
이 도구는 2D 입력에서 몰입형 3D 장면을 생성하고자 하는 컴퓨터 비전 및 3D 그래픽스 분야의 연구자 및 개발자, 그리고 AI 기반 3D 콘텐츠 제작 도구를 사용하는 아티스트를 대상으로 합니다.
주요 특징
- 도메인 자유 생성: 특정 학습 없이 다양한 환경에서 3D 장면 생성 가능.
- 유연한 입력: 단일 이미지와 텍스트 프롬프트의 조합을 지원.
- 사용자 정의 카메라 경로: 생성 및 렌더링에 대해 다양한 카메라 움직임(예: rotate360, lookaround)을 지원.
- SD 통합: 개선된 인페인팅 결과를 얻기 위해 사용자 정의 Stable Diffusion 체크포인트를 지원.
관련
- 프로젝트
ZiYang-xie/WorldGenWorldGen은 텍스트 프롬프트나 이미지를 몇 초 만에 몰입형 3D 씬으로 생성하는 도구이며, Gaussian Splatting과 메쉬 출력 모두를 지원해 VR, 게임, 시뮬레이션에 활용할 수 있습니다.
- 프로젝트
WHU-USI3DV/VistaDreamVistaDream은 확산 모델과 훈련 없는 다중 뷰 일관성 샘플러를 사용하여 단일 RGB 이미지에서 고품질 3D 장면을 재구성하는 PyTorch 라이브러리입니다. 거친 스캐폴드를 구축하고 RGB-D 뷰를 반복적으로 인페인팅하며 생성된 뷰 간의 일관성을 강제합니다. 데모는 `python demo.py`(단일 뷰) 또는 `python demo_sparse.py`(희소 뷰)로 실행됩니다. Ubuntu 20.04, RTX 4090 GPU 및 여러 사전 훈련된 모델(Fooocus, Depth-Pro 등)이 필요합니다. ICCV 2025 및 IEEE TPAMI 2026에 채택되었습니다.
- Dispatch
3D 가우시안 스플래팅 소개3D 가우시안 스플래팅은 소수의 이미지에서 학습된 포토리얼리스틱 3D 장면을 실시간으로 렌더링할 수 있는 래스터화 기술입니다.
- 프로젝트
WebODM/OpenSplatOpenSplat은 COLMAP/OpenSfM/ODX/nerfstudio 데이터를 컴팩트한 가우시안 기반 장면 파일로 변환하는 C++ 기반 3D 가우시안 스플래터링 구현체입니다. CUDA, ROCm(HIP), Apple Metal, CPU 전용 빌드를 지원하며, Docker 이미지를 제공하고, `.ply`/`.splat`/`.spz`/`.rad` 형식으로 훈련, 재개, 마스킹, 내보내기를 위한 간단한 CLI를 제공합니다.
- 프로젝트
zju3dv/InfiniSplat단일 RGB 이미지 또는 여러 겹치는 이미지에서 3D 장면을 생성하여 새로운 시점 렌더링을 수행하는 피드포워드 3D 가우시안 재구성 프레임워크입니다.