zju3dv/InfiniDepth

[CVPR 2026] InfiniDepth: Arbitrary-Resolution and Fine-Grained Depth Estimation with Neural Implicit Fields

InfiniDepth

InfiniDepthは、単一画像からの3D認識のための研究グレードのコードベースです。ニューラル暗黙的フィールド（neural implicit fields）を使用して任意の解像度で深度マップを生成し、3D Gaussian‑splatting (3DGS) 表現を合成します。オプションでセンサーからの疎な深度を融合し、メトリック（実寸）スケールの結果を得ることも可能です。

機能

機能	入力	出力
任意の解像度の深度	RGB画像	任意の解像度の深度マップ（相対またはメトリック）
単眼視点合成	RGB画像	3D Gaussian‑splattingモデル + オプションの新規視点ビデオ
深度センサー拡張	RGB + 疎な深度	メトリック深度 + 3DGS

クイックスタート

インストール – INSTALL.md のステップバイステップガイドに従ってください（Python, PyTorch, 必要なチェックポイント）。
デモを試す – 公開されているGradioアプリがHugging Faceでホストされています：
```
python app.py   # ローカルで同じインターフェースを実行
```
RGB画像をアップロードし（深度マップがあればそれも）、Depth または 3DGS を選択します。
コマンドラインから推論を実行 – example_scripts/ にサンプルスクリプトが用意されています：
```
# 単一RGB画像からの相対深度
bash example_scripts/infer_depth/courtyard_infinidepth.sh

# 単一RGB画像からの3D Gaussian
bash example_scripts/infer_gs/courtyard_infinidepth_gs.sh

# 深度センサーを使用したメトリック深度
bash example_scripts/infer_depth/eth3d_infinidepth_depthsensor.sh
```
スクリプトはデフォルト設定で inference_depth.py または inference_gs.py を呼び出します。READMEに記載されているコマンドラインフラグを使用して、出力解像度の変更、スカイマスキングの有効化、点群のエクスポートなどが可能です。

マルチビュー / ビデオサポート

inference_multi_view_depth.py は、画像のフォルダやビデオを処理し、フレームごとの深度マップ、アライメントされた点群、およびマージされたグローバル点群を生成できます。DA3 depth‑anythingモデルによるスケールアライメント、または明示的なカメラ内部パラメータ/外部パラメータ（Waymo形式のtxtファイル）の使用を選択できます。

トレーニングとファインチューニング

このリポジトリには完全なトレーニングパイプライン (main.py) が含まれています。環境変数 workspace（実験出力の保存先）と commonspace（共有データセット/事前学習済み重み）を設定した後、以下が可能です：

ファインチューニング：既存のチェックポイントを使用

python3 main.py \
  --cfg_file training/exp_configs/exps/infinidepth.yaml \
  --include training/exp_configs/components/data/train/infinidepth_train_hypersim.yaml \
  ckpt_path=checkpoints/depth/infinidepth.ckpt \
  exp_name=finetune_infinidepth_on_hypersim \
  pl_trainer.devices=8

ゼロからのトレーニング：ckpt_path を省略します。
検証は、各エポック後に混合実データベンチマークで自動的に実行されます。

リソース

プロジェクトページ: https://zju3dv.github.io/InfiniDepth/
論文: https://arxiv.org/abs/2601.03252 (CVPR 2026)
Hugging Face デモ: https://huggingface.co/spaces/ritianyu/InfiniDepth
デモ用データセット: https://huggingface.co/datasets/ritianyu/game_4k_data

InfiniDepth は、単一画像から高品質な深度または3D‑Gaussian再構成を必要とする研究者や開発者を対象としており、メトリック精度を得るためのセンサー融合オプションも備えています。