cre185/InstantSfM

解决的问题

InstantSfM 解决了传统结构从运动（SfM）流水线的效率瓶颈，这些流水线通常较慢且未完全针对现代 GPU 硬件进行优化。它提供了一种 GPU 原生方法，从一组 2D 图像中重建 3D 结构，使该过程更快，并与深度学习工作流更加兼容。

如何工作

该项目实现了一个包含三个主要阶段的完整 SfM 流水线：

1. 特征提取与匹配：默认使用 COLMAP 识别图像之间的关键点。
2. 全局 SfM 与束调整：使用 GPU 原生操作计算 3D 结构和相机位姿，以优化重建。
3. 3D 高斯点云（3DGS）：提供集成支持，基于重建数据训练 3DGS 模型。

它采用 SIMD 友好的数据结构以提高处理速度，并与 bae 等工具集成，以在急切模式下进行束调整。

适用人群

此工具专为从事计算机视觉、机器人学和 3D 重建的研究人员和开发者设计，他们需要一个高性能、GPU 加速的流水线，将图像转换为 3D 模型。

主要亮点

• GPU 原生架构：针对 NVIDIA GPU 优化，加速 SfM 过程。
• 端到端流水线：涵盖从特征提取到 3DGS 训练的全部流程。
• 交互式可视化：包含 GUI，可实时可视化重建过程或回放记录的重建。
• 度量深度支持：包含使用 Video Depth Anything 从视频中进行度量尺度深度估计的工具。