sunyitong/DeepMetricEye

Research code for metric depth estimation in periocular VR imagery using UE MetaHuman-generated data.

What it solves

DeepMetricEye는 VR 헤드셋의 2D 안구 추적 카메라가 안구 영역의 정확한 미터법 측정을 제공하지 못한다는 한계를 해결합니다. 단일 2D 이미지로부터 동공 직경 및 안구 주변 변형과 같은 3D 미터법 기하학적 구조를를 재구성할 수 있습니다.

How it works

이 프로젝트는 두 가지 주요 구성 요소로 구성됩니다:

  1. Depth-Estimation Model: 안구 주변 RGB 이미지로부터 깊이 지도를 예측하는 경량 PyTorch 기반 단안 깊이 추정 모델입니다.
  2. DPDG Environment: Unreal Engine 5.2와 MetaHumans를 사용하여 구축된 합성 데이터 생성 도구입니다. 이 환경을 통해 연구자들은 동기화된 RGB 이미지와 ground-truth 깊이 지도를 생성하여 모델을 학습시키고 검증할 수 있습니다.

Who it's for

헤드셋 기반 안구 이미지로부터 정확한 물리적 측정값을 추출해야 하는 VR 안구 건강, XR 센싱 및 컴퓨터 비전 연구자들을 위해 설계되었습니다.

Highlights

  • Synthetic Data Pipeline: 使用 Unreal Engine과 MetaHumans를 사용하여 고충실도(high-fidelity) 훈련용 데이터 쌍을 생성합니다.
  • Metric Accuracy: 상대적 깊이가 아닌 실제 세계의 미터법 깊이에 집중합니다.
  • Research-Ready: 포함된 PyTorch 구현체와 데이터 생성 프레임워크는 재현 가능합니다.