cvg/vidmap

해결하는 문제

VidMap은 비디오 시퀀스에서 3D 환경을 재구성하도록 설계된 오프라인 Structure-from-Motion(SfM) 시스템입니다. 비디오 데이터에 내재된 시간적 연속성을 활용하여 카메라 포즈, 카메라 내부 파라미터 및 희소 3D 지도를 정확하게 추정하는 문제를 해결합니다.

작동 방식

이 시스템은 비디오 인식 프론트엔드와 출처 인식 전역 매퍼라는 두 단계 파이프라인을 통해 비디오를 처리합니다. 프론트엔드는 시간적 트랙을 추출하고, 키프레임 선택을 수행하며, 깊이를 추정하고, 전역 매퍼는 이러한 입력을 사용하여 전역 최적화와 번들 조정을 수행합니다. COLMAP과 같은 기존 도구를 기반으로 구축되었으며 최적화 단계의 성능을 향상시키기 위해 GPU 가속을 지원합니다.

대상 사용자

이 프로젝트는 3D 재구성, SLAM(동시적 위치 추정 및 지도 작성) 및 시각적 주행 거리 측정을 연구하는 연구자와 컴퓨터 비전 실무자를 대상으로 하며, 비디오 데이터 세트를 처리하기 위한 강력한 오프라인 시스템이 필요한 사람들을 위한 것입니다.

주요 특징

• 표준 이미지 기반 SfM보다 재구성 정확도를 향상시키기 위해 시간 구조를 활용합니다.
• 파이프라인을 세밀하게 제어할 수 있는 Hydra를 사용하는 유연한 구성 시스템을 포함합니다.
• 더 빠른 처리를 위해 GPU 가속 전역 위치 결정 및 번들 조정을 지원합니다.
• 브라우저 기반 뷰어와 솔버 상태 재생 및 3D 플라이스루를 위한 Rerun 통합을 포함한 내장 시각화 도구를 제공합니다.
• LaMAR, EuRoC 및 ETH3D-SLAM과 같은 표준 데이터 세트에 대한 포괄적인 벤치마킹 지원을 포함합니다.