apple-aiml-research/ml-matrix3d

해결하는 문제

Matrix3D는 다양한 3D 비전 작업을 처리하기 위해 별도의 전문 모델이 필요하지 않은 통합된 포토그라메트리 모델을 제공합니다. 단일 이미지나 촬영되지 않은 이미지에서 시작해도, 하나의 프레임워크 내에서 포즈 추정, 깊이 예측, 새로운 시점 합성 작업을 수행할 수 있습니다.

작동 방식

이 시스템은 마스크 추론을 사용하여 다양한 작업 간에 동적으로 전환하거나 조합하는 대규모 포토그라메트리 모델을 활용합니다. 모달리티 플래그와 뷰 식별자를 조작함으로써, 단일 이미지 또는 여러 개의 촬영된 이미지와 같은 다양한 입력 상태를 처리하여 3D 속성을 예측할 수 있습니다. 이러한 출력은 수정된 3D 가우시안 스플래터링(3DGS) 파이프라인에 공급되어 완전한 3D 재구성을 생성할 수 있습니다.

대상 사용자

제한된 이미지 데이터에서 카메라 포즈를 추정하거나, 깊이를 예측하거나, 새로운 시점을 합성해야 하는 컴퓨터 비전 및 3D 재구성 분야의 연구자 및 개발자에게 적합합니다.

주요 특징

• 통합 아키텍처: 포즈 추정, 깊이 예측, 새로운 시점 합성을 모두 하나의 모델에서 처리.
• 유연한 입력: 단일 뷰에서 3D 재구성, 촬영되지 않은 소수 샷 3D 재구성까지 지원.
• 3DGS 통합: 모델 예측을 3D 장면으로 변환하는 수정된 3D 가우시안 스플래터링 파이프라인 포함.
• 마스크 추론: 입력 구성에 따라 포토그라메트리 하위 작업을 동적으로 조합할 수 있는 기능.