jayin92/Skyfall-GS

[ECCV 2026] Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

What it solves

Skyfall-GS는 대규모이며 기하학적으로 정확한 3D 도시 장면을 만드는 어려움을 해결합니다. 기존에는 비용이 많이 드는 3D 스캔이나 어노테이션이 필요했으며, 이러한 데이터는 대규모로는 거의 구할 수 없습니다. 이 프로젝트는 손쉽게 구할 수 있는 위성 이미지와 오픈 도메인 diffusion 모델만으로 몰입형 3D 도시 환경을 합성할 수 있게 합니다.

How it works

프레임워크는 두 가지 주요 단계로 작동합니다:

  1. Reconstruction: 먼저 위성 이미지를 사용해 도시 장면의 거친 3D 기하 구조를 구축합니다.
  2. Synthesis with Iterative Dataset Update (IDU): 커리큘럼 기반 정제 전략을 적용해 diffusion 모델로 고품질 클로즈업 텍스처를 생성하고, 기하학적 완전성과 포토리얼리즘을 점진적으로 향상시킵니다.

최종 출력은 3D 모델(통합된 PLY 파일 형태)이며, 실시간으로 몰입형 탐색이 가능합니다.

Who it’s for

이 도구는 구현 AI 응용, 도시 계획 시뮬레이션 및 몰입형 3D 환경 생성에 종사하는 연구자와 개발자를 위해 설계되었습니다.

Highlights

  • No 3D Annotations: 비용이 많이 드는 수동 3D 라벨 없이도 대규모 장면을 생성합니다.
  • Hybrid Approach: 위성 데이터의 구조적 정확성과 생성형 diffusion 모델의 시각적 품질을 결합합니다.
  • Real-time Exploration: 합성된 도시 환경에 대한 실시간 3D 내비게이션을 지원합니다.
  • Iterative Refinement: 특정 IDU 전략을 사용해 교차 뷰 일관성과 현실적인 텍스처를 보장합니다.