facebookresearch/mvdust3r

해결하는 문제

MV-DUSt3R+는 적은 수의 RGB 이미지(희소 뷰)로부터 빠른 단일 단계 3D 장면 재구성을 가능하게 합니다. 사전 계산된 카메라 포즈가 필요하지 않으므로, 카메라의 정확한 위치를 알지 못해도 이미지나 비디오에서 장면을 재구성할 수 있습니다.

작동 원리

이 프로젝트는 DUSt3R 모델의 미세 조정(finetuned) 버전입니다. 여러 RGB 이미지 또는 비디오 프레임을 처리하여 단일 단계로 3D 포인트 클라우드와 카메라 포즈를 예측합니다. 가변적인 뷰 수(4~12개)를 처리할 수 있으며, 재구성 시 저품질 포인트를 필터링하기 위한 신뢰도 임계값을 제공합니다.

대상 사용자

컴퓨터 비전, 3D 재구성 및 공간 AI 분야의 연구자와 개발자, 특히 별도의 단계로 명시적인 카메라 캘리브레이션이나 포즈 추정이 필요 없는 고속 재구성 파이프라인을 찾는 분들에게 적합합니다.

주요 특징

• 포즈 불필요 재구성: 카메라 포즈 없이 RGB 이미지만으로 3D 장면을 재구성합니다.
• 단일 단계 프로세스: 다단계 파이프라인이 아닌 단일 단계로 재구성을 수행합니다.
• 극한의 속도: 약 2초 만에 장면을 재구성할 수 있습니다.
• 다양한 입력: 여러 정지 이미지와 비디오 파일 모두를 지원합니다.
• 추가 기능: 상대적 포즈 추정 및 새로운 뷰 합성을 지원합니다.