zju3dv/Scal3R

해결하는 문제

Scal3R은 대규모 3D 재구성의 과제를 해결하며, 특히 테스트 시 학습(test-time training)이라는 기술을 통해 프로세스의 확장성을 높이는 데 초점을 맞춥니다.

작동 방식

시스템은 이미지 폴더를 입력으로 받아 3D 장면을 재구성하기 위한 추론을 수행합니다. 모델 구성 시스템을 활용하며, 블록과 겹침 크기를 통해 장시간 시퀀스 추론을 청크화하는 기능을 지원합니다. 대규모 처리 시 메모리와 하드웨어 제약을 관리하기 위해 배치 및 출력을 디스크에 오프로드하는 기능을 포함합니다.

대상 사용자

컴퓨터 비전 및 3D 장면 재구성 분야에서 일하는 연구자 및 개발자로, 대규모 이미지 데이터셋을 처리하여 카메라 포즈, 깊이 맵, 포인트 클라우드를 생성해야 하는 사람들을 대상으로 합니다.

주요 특징

• 확장 가능한 재구성: 테스트 시 학습을 구현하여 대규모 3D 환경을 처리합니다.
• 세부 출력: 예측된 카메라 포즈(카메라-월드 변환 행렬), 깊이 맵, 포인트 클라우드를 생성합니다.
• 메모리 관리: 배치 및 출력을 디스크에 오프로드할 수 있는 기능을 통해 더 큰 작업 부하를 지원합니다.
• 추론 가속화: 내장된 가속 추론 지원 기능을 제공합니다.