HiP3Rs/HiP3R

해결하는 문제

HiP3R은 긴 비디오 시퀀스에서 정확한 3D 재구성을 만드는 과제를 해결합니다. 긴 시퀀스를 관리 가능한 겹치는 청크로 나누고 계층적 포즈 그래프를 사용하여 공간 일관성을 유지하고 장시간에 걸쳐 카메라 위치를 정제합니다.

작동 방식

이 시스템은 비디오 입력을 청크로 나누어 처리합니다——VGGT-Omega 백엔드의 경우 60프레임, LingBot-MAP의 경우 120프레임입니다. SALAD를 사용하여 루프 검색을 수행하고 카메라가 위치를 다시 방문하는 시점을 식별하여 청크를 올바르게 정렬하는 데 도움을 줍니다. 그런 다음 키프레임 포즈 정제를 수행하여 최종 3D 재구성이 매끄럽고 정확하도록 보장합니다.

대상 사용자

이 도구는 컴퓨터 비전 및 3D 장면 재구성 작업을 하는 연구자와 개발자를 위해 설계되었으며, 긴 비디오 데이터를 구조화된 카메라 포즈와 포인트 클라우드로 처리해야 합니다.

주요 기능

• VGGT-Omega 및 LingBot-MAP을 포함한 여러 백엔드 모델을 지원합니다.
• SALAD를 통합하여 강력한 루프 검색으로 정렬을 개선합니다.
• 표준 카메라-월드 행렬과 내부 파라미터 행렬을 출력하여 다른 도구와 쉽게 통합할 수 있습니다.
• 대규모 재구성을 효율적으로 처리하기 위한 모듈식 청크 기반 데이터 저장소를 제공합니다.