jayin92/Skyfall-GS

해결하는 문제

Skyfall-GS는 대규모의 기하학적으로 정확한 3D 도시 장면을 생성하는 어려움을 해결합니다. 전통적으로 이는 값비싼 3D 스캔이나 주석을 필요로 하며, 이는 범용 모델에게는 구하기 어려운 자원입니다. 이 프로젝트는 쉽게 구할 수 있는 위성 이미지와 오픈 도메인 확산 모델만을 사용하여 몰입형 3D 도시를 합성할 수 있게 합니다.

작동 원리

이 프레임워크는 3D 장면을 구축하기 위해 2단계 프로세스를 사용합니다:

1. 재구성 (Reconstruction): 먼저 위성 이미지를 사용하여 도시 지역의 거친 3D 기하학적 구조를 설정합니다.
2. 반복적 데이터셋 업데이트를 통한 합성 (Synthesis with Iterative Dataset Update, IDU): 기하학적 구조를 정교화하고 사실적인 텍스처를 추가합니다. 이는 확산 모델을 사용하여 고품질의 근접 외관을 생성하고, 데이터셋을 반복적으로 업데이트하여 시각적 일관성과 세부 사항을 개선하는 커리큘럼 기반 전략을 통해 달성됩니다.

최종 출력물은 몰입형 탐색을 위해 실시간으로 렌더링할 수 있는 Gaussian Splatting 모델입니다.

대상 사용자

이 도구는 3D 장면 합성, 도시 계획 시각화, 그리고 사실적인 대규모 가상 환경이 필요한 구현된 AI(Embodied AI) 애플리케이션을 연구하는 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• 3D 주석 불필요: 값비싼 수동 3D 라벨 없이도 대규모 장면을 생성합니다.
• 실시간 탐색: 합성된 도시 환경의 몰입형 실시간 3D 내비게이션을 지원합니다.
• 반복적 정교화: 특정 IDU 전략을 사용하여 기하학적 완전성과 텍스처의 사실성을 점진적으로 향상시킵니다.
• 시점 간 일관성: 기존 방식과 비교하여 다양한 시점에서 기하학적 및 텍스처 일관성을 개선합니다.