apple-aiml-research/ml-depth-pro

해결하는 문제

Depth Pro는 카메라 내부 파라미터(인트린식스)가 필요 없이 단일 이미지(모노카라 뎁스 추정)에서 정확하고 고해상도의 메트릭 깊이를 추정하는 문제를 해결합니다. 특히 속도, 해상도, 선명도 사이의 트레이드오프를 해결하며, 세밀한 경계 세부 정보를 포함한 절대 스케일 예측을 제공합니다.

작동 방식

이 시스템은 밀도 예측에 적합한 효율적인 다중 스케일 비전 트랜스포머 기반의 기초 모델을 사용합니다. 실제 데이터와 합성 데이터를 혼합한 트레이닝 프로토콜을 통해 높은 메트릭 정확도와 정밀한 경계 추적을 모두 보장했습니다. 모델은 단일 이미지에서 초점 거리를 추정할 수 있으며, 표준 GPU에서 약 0.3초 내에 225만 픽셀의 깊이 맵을 생성합니다.

대상 사용자

컴퓨터 비전, 로보틱스, 3D 재구성 분야에서 작업하는 연구자 및 개발자 중, 일반 이미지에서 빠르고 제로샷 메트릭 깊이 추정이 필요한 분들에게 적합합니다.

주요 특징

• 제로샷 메트릭 깊이: 카메라 인트린식스를 요구하지 않고 절대 스케일을 예측합니다.
• 고속성: GPU에서 225만 픽셀의 깊이 맵을 0.3초 미만으로 생성합니다.
• 선명한 세부 사항: 고주파 세부 정보와 세밀한 경계 추적에 중점을 둡니다.
• 통합 평가: 깊이 맵의 경계 정확도를 측정하기 위한 전용 메트릭을 포함합니다.