cre185/InstantSfM

해결하는 문제

InstantSfM은 전통적인 구조에서 운동(SfM) 파이프라인의 효율성 문제를 해결합니다. 이러한 파이프라인은 일반적으로 느리며, 현대 GPU 하드웨어에 완전히 최적화되어 있지 않습니다. InstantSfM은 GPU 기반 접근 방식을 통해 2D 이미지 모음에서 3D 구조를 재구성하는 과정을 빠르게 하고, 딥러닝 워크플로우와의 호환성을 높입니다.

작동 방식

이 프로젝트는 세 가지 주요 단계로 구성된 완전한 SfM 파이프라인을 구현합니다:

1. 특징 추출 및 매칭: 기본적으로 COLMAP을 사용하여 이미지 간의 핵심 포인트를 식별합니다.
2. 글로벌 SfM 및 밴들 조정: GPU 기반 연산을 사용하여 3D 구조와 카메라 자세를 계산하고 재구성을 최적화합니다.
3. 3D 가우시안 스플래팅(3DGS): 재구성된 데이터를 기반으로 3DGS 모델을 훈련할 수 있도록 통합 지원을 제공합니다.

처리 속도를 향상시키기 위해 SIMD 친화적인 데이터 구조를 사용하며, bae와 같은 도구를 사용해 즉시 모드(eager mode)에서 밴들 조정을 통합합니다.

대상 사용자

이 도구는 컴퓨터 비전, 로보틱스, 3D 재구성 분야에서 일하는 연구자 및 개발자들을 위한 것으로, 이미지를 3D 모델로 변환하기 위해 고성능 GPU 가속 파이프라인을 필요로 하는 분들에게 적합합니다.

주요 특징

• GPU 네이티브 아키텍처: NVIDIA GPU에 최적화되어 SfM 프로세스를 가속화합니다.
• 엔드투엔드 파이프라인: 특징 추출에서 3DGS 훈련까지 모든 과정을 커버합니다.
• 인터랙티브 시각화: 재구성 과정을 실시간으로 시각화하거나 기록된 재구성을 재생할 수 있는 GUI를 포함합니다.
• 메트릭 깊이 지원: Video Depth Anything를 사용하여 비디오에서 메트릭 스케일의 깊이 추정 도구를 제공합니다.