zju3dv/NeuralRecon-W

해결하는 문제

NeuralRecon-W는 "야생"(통제되지 않은 환경)에서 촬영된 이미지로부터 3D 장면을 재구성하는 문제를 해결합니다. 이러한 이미지에는 종종 보행자나 차량과 같이 3D 재구성 과정을 방해할 수 있는 일시적인 객체가 포함되어 있습니다.

작동 원리

이 프로젝트는 부호 거리 함수(SDF)를 사용하여 장면을 표현하는 신경망 3D 재구성 파이프라인을 구현합니다. 카메라 자세 추정을 위해 COLMAP과 통합되어 있으며, 시스템이 정적 장면과 일시적인 객체를 구분할 수 있도록 의미론적 지도를 생성하는 도구를 제공합니다. 이 과정은 일련의 이미지로부터 장면의 3D 기하학적 구조를 표현하도록 신경망을 학습시키고, 해당 네트워크가 학습한 표현으로부터 3D 메시를 추출하는 방식으로 진행됩니다.

대상 사용자

컴퓨터 비전, 3D 재구성, 신경망 렌더링 분야의 연구자 및 개발자, 특히 통제되지 않은 환경에서 캡처된 실외 또는 실내 장면을 다루는 분들에게 적합합니다.

주요 특징

• 야생 장면 재구성: 통제되지 않은 환경에서 캡처된 이미지를 처리하도록 특별히 설계되었습니다.
• 메시 추출: 학습된 체크포인트에서 고품질 3D 메시를 추출하는 도구가 포함되어 있습니다.
• 사용자 정의 데이터 지원: 표준 COLMAP 작업 공간 형식으로부터 자동 및 수동 데이터 준비를 지원합니다.
• Heritage-Recon 데이터셋: 유적지 전용 데이터셋에서 결과를 재현할 수 있는 툴킷과 파이프라인을 제공합니다.