luciddreamer-cvlab/LucidDreamer

해결하는 문제

LucidDreamer는 단일 이미지와 텍스트 프롬프트를 사용하여 가우시안 스플래터링을 활용한 3D 장면 생성을 가능하게 합니다. 특정 도메인에 특화된 학습 데이터 없이 다양한 분야에서 고품질 3D 환경을 생성하는 문제를 해결합니다.

작동 방식

이 시스템은 텍스트 프롬프트와 입력 이미지를 기반으로 인페인팅 프로세스를 수행하여 장면을 '꿈꾸듯' 생성합니다. Stable Diffusion (SD 1.5) 및 ZoeDepth를 활용하여 깊이 추정을 수행하고, 가우시안 스플래터링 래스터라이저를 사용해 생성된 뷰를 3D 장면으로 변환합니다. 사용자는 생성 및 렌더링 단계에서 카메라 경로를 지정하여 생성된 3D 출력의 시점 제어가 가능합니다.

대상 사용자

이 도구는 2D 입력에서 몰입형 3D 장면을 생성하고자 하는 컴퓨터 비전 및 3D 그래픽스 분야의 연구자 및 개발자, 그리고 AI 기반 3D 콘텐츠 제작 도구를 사용하는 아티스트를 대상으로 합니다.

주요 특징

• 도메인 자유 생성: 특정 학습 없이 다양한 환경에서 3D 장면 생성 가능.
• 유연한 입력: 단일 이미지와 텍스트 프롬프트의 조합을 지원.
• 사용자 정의 카메라 경로: 생성 및 렌더링에 대해 다양한 카메라 움직임(예: rotate360, lookaround)을 지원.
• SD 통합: 개선된 인페인팅 결과를 얻기 위해 사용자 정의 Stable Diffusion 체크포인트를 지원.