borglab/gtsfm

해결하는 문제

Georgia Tech Structure-from-Motion (GTSfM)은 2D 이미지에서 3D 장면을 재구성하기 위해 설계된 엔드투엔드 파이프라인입니다. 기존의 Structure-from-Motion (SfM)이 가진 높은 계산 집약적 문제를 해결하기 위해, 분산 컴퓨팅을 활용하여 대규모 재구성 작업을 효율적으로 처리할 수 있는 모듈식 병렬 아키텍처를 제공합니다.

작동 방식

GTSfM은 GTSAM 라이브러리 기반의 모듈식 설계를 사용합니다. 프론트엔드에서 특징점을 감지하고 매칭(SIFT, SuperPoint, SuperGlue 등의 방법 사용)하며, 백엔드에서 회전 평균, 평행 이동 평균, 번들 조정(bundle adjustment)을 수행하여 카메라 포즈와 3D 기하학적 구조를 추정합니다. 전체 파이프라인은 Dask를 사용하여 병렬화되어 여러 CPU/GPU 워커에 걸쳐 확장할 수 있습니다. 데이터셋 관리, 모델 구성, 그리고 Gaussian Splatting을 포함한 3D 결과 시각화를 위한 브라우저 기반의 studio 인터페이스가 포함되어 있습니다.

대상 사용자

이 프로젝트는 3D 재구성, 사진 측량 또는 로봇 공학 분야에서 연구원, 컴퓨터 비전 엔지니어 및 개발자를 위한 것입니다. 로컬 머신이나 분산 클러스터에 배포할 수 있는 확장 가능하고 확장성이 뛰어나며 고성능인 SfM 파이프라인이 필요한 분들에게 적합합니다.

주요 특징

• 분산 아키텍처: Dask를 사용한 병렬 계산을 기본 지원하여 대규모 재구성을 가속화합니다.
• 모듈식 설계: 특징 감지, 기술, 매칭 및 번들 조정을 위한 구성 요소를 쉽게 교체할 수 있습니다.
• GTSFM Studio: 실행 관리, 로그 모니터링 및 3D 재구성 시각화를 위한 내장형 브라우저 기반 작업 공간입니다.
• 다양한 출력: COLMAP과 같은 표준 형식을 지원하며, Nerfstudio와 같은 NeRF 기반 파이프라인을 위한 통합 스크립트를 제공합니다.
• 유연한 배포: 로컬 실행, 원격 GPU 클러스터 제출 및 Google Colab 통합을 지원합니다.