sunyitong/DeepMetricEye

Research code for metric depth estimation in periocular VR imagery using UE MetaHuman-generated data.

What it solves

DeepMetricEye 解决了 VR 头戴式设备中 2D 眼部追踪摄像头无法提供眼部区域精确度量测的限制。它能够从单张 2D 影像中重建 3D 度量几何结构——例如瞳孔直径与眼周变形。

How it works

该项目包含两个主要组件：

  1. Depth-Estimation Model: 一个基于 PyTorch 的轻量级单目深度估计模型，可以从眼周 RGB 影像中预测深度图。
  2. DPDG Environment: 一个使用 Unreal Engine 5.2 与 MetaHumans 构建的合成数据生成工具。该环境允许研究人员生成同步的 RGB 影像与真值 (ground-truth) 深度图，以进行模型训练与验证。

Who it's for

它是为 VR 眼部健康、XR 感测与计算机视觉领域的研究人员设计的，这些研究人员需要从头戴式设备基于的眼部影像中提取精确的物理度量值。

Highlights

  • Synthetic Data Pipeline: 使用 Unreal Engine 与 MetaHumans 创建高保真度的训练对。

  • Metric Accuracy: 聚焦于真实世界的度量深度而非相对深度。

  • Research-Ready: 包含可复现的 PyTorch 实现与数据生成框架。