jayin92/Skyfall-GS

解决的问题

Skyfall-GS 解决了创建大规模、几何精确的 3D 城市场景的困难。传统上，这需要昂贵的 3D 扫描或标注，而这些资源对于通用模型来说非常稀缺。该项目仅使用现成的卫星影像和开放领域的扩散模型，即可实现沉浸式 3D 城市的合成。

运作原理

该框架使用两阶段流程来构建 3D 场景：

1. 重建 (Reconstruction)：首先利用卫星影像建立城市区域的粗略 3D 几何结构。
2. 迭代数据集更新合成 (Synthesis with Iterative Dataset Update, IDU)：优化几何结构并添加照片级真实感的纹理。这是通过一种课程学习策略实现的，该策略利用扩散模型创建高质量的近景外观，并迭代更新数据集以提高视觉一致性和细节。

最终输出是一个 Gaussian Splatting 模型，可以实时渲染以进行沉浸式探索。

适用对象

此工具专为从事 3D 场景合成、城市规划可视化以及需要逼真大规模虚拟环境的具身 AI 应用的研究人员和开发人员而设计。

特色亮点

• 无需 3D 标注：无需昂贵的手动 3D 标签即可创建大规模场景。
• 实时探索：支持对合成城市环境进行沉浸式、实时的 3D 导航。
• 迭代优化：使用特定的 IDU 策略逐步增强几何完整性和纹理真实感。
• 跨视角一致性：与现有方法相比，提高了不同视角下的几何和纹理一致性。