jayin92/Skyfall-GS

[ECCV 2026] Skyfall-GS: Synthesizing Immersive 3D Urban Scenes from Satellite Imagery

What it solves

Skyfall-GS 解決了建立大規模、幾何精確的 3D 城市場景的困難。傳統上，這需要昂貴的 3D 掃描或標註，而這類資料在大規模上極少可得。此專案僅使用易取得的衛星影像與開放領域的 diffusion 模型，即可合成沉浸式的 3D 城市環境。

How it works

此框架分為兩個主要階段：

  1. Reconstruction：首先利用衛星影像建立城市場景的粗糙 3D 幾何。
  2. Synthesis with Iterative Dataset Update (IDU)：採用課程驅動的精煉策略，使用 diffusion 模型生成高品質的特寫紋理，並逐步提升幾何完整度與寫實度。

最終輸出為 3D 模型（以融合的 PLY 檔案提供），可供即時、沉浸式探索。

Who it’s for

此工具設計給從事具身 AI 應用、城市規劃模擬與沉浸式 3D 環境生成的研究人員與開發者使用。

Highlights

  • No 3D Annotations：在不需要昂貴手動 3D 標註的情況下，建立大規模場景。
  • Hybrid Approach：結合衛星資料的結構精確度與生成式 diffusion 模型的視覺品質。
  • Real-time Exploration：支援對合成城市環境的即時 3D 導覽。
  • Iterative Refinement：使用特定的 IDU 策略，確保跨視角的一致性與真實紋理。