sunyitong/DeepMetricEye

Research code for metric depth estimation in periocular VR imagery using UE MetaHuman-generated data.

What it solves

DeepMetricEye 解決了 VR 頭戴式裝置中 2D 眼部追蹤攝影機無法提供眼部區域精確度量測的限制。它能夠從單張 2D 影像中重建 3D 度量幾何結構——例如瞳孔直徑和眼周變形。

How it works

該專案包含兩個主要組件：

  1. Depth-Estimation Model: 一個基於 PyTorch 的輕量級單目深度估計模型，可從眼周 RGB 影像中預測深度圖。
  2. DPDG Environment: 一個使用 Unreal Engine 5.2 與 MetaHumans 建構的合成數據生成工具。此環境允許研究人員生成同步的 RGB 影像與真值 (ground-truth) 深度圖，以進行模型訓練與驗證。

Who it's for

它是為 VR 眼部健康、XR 感測與電腦視覺領域的研究人員設計的，這些研究人員需要從頭戴式裝置的眼部影像中提取精確的物理度量值。

Highlights

  • Synthetic Data Pipeline: 使用 Unreal Engine 與 MetaHumans 建立高保真度的訓練對。
  • Metric Accuracy: 專注於真實世界的度量深度而非相對深度。
  • Research-Ready: 包含可重複的 PyTorch 實作與數據生成框架。