sunyitong/DeepMetricEye

Research code for metric depth estimation in periocular VR imagery using UE MetaHuman-generated data.

What it solves

DeepMetricEyeは、VRヘッドセット内の2Dアイトラッキングカメラの限界（眼部領域の正確なメトリック計測ができないこと）に対処します。単一の2D画像から、瞳孔径や眼周部の変形などの3Dメトリック幾何構造を再構成することが可能です。

How it works

このプロジェクトは、主に2つのコンポーネントで構成されています：

  1. Depth-Estimation Model: 眼周部のRGB画像から深度マップを予測する、軽量なPyTorchベースの単眼深度推定モデル。
  2. DPDG Environment: Unreal Engine 5.2とMetaHumansを使用して構築された合成データ生成ツール。この環境により、研究者が同期されたRGB画像とグランドトゥルース（真値）の深度マップを生成し、モデルの学習と検証を行えるようになります。

Who it's for

VRの眼の健康、XRセンシング、コンピュータビジョンの研究者で、ヘッドセットベースの眼部画像から正確な物理的計測値を取得する必要がある方向けに設計されています。

Highlights

  • Synthetic Data Pipeline: Unreal EngineとMetaHumansを使用して、高忠実度のトレーニングペアを作成します。
  • Metric Accuracy: 相対的な深度ではなく、現実世界のメトリック深度に焦点を当てています。
  • Research-Ready: 再現可能なPyTorch実装とデータ生成フレームワークを含んでいます。