zju3dv/InfiniDepth

[CVPR 2026] InfiniDepth: Arbitrary-Resolution and Fine-Grained Depth Estimation with Neural Implicit Fields

InfiniDepth

InfiniDepth는 단일 이미지 3D 인식을 위한 연구용 코드베이스입니다. 신경 암시적 필드(neural implicit fields)를 사용하여 모든 해상도에서 깊이 맵을 생성하고 3D Gaussian‑splatting (3DGS) 표현을 합성하며, 선택적으로 센서의 희소 깊이 데이터를 융합하여 메트릭(실제 치수) 스케일의 결과를 얻을 수 있습니다.

주요 기능

기능	입력	출력
임의 해상도 깊이	RGB 이미지	임의 해상도의 깊이 맵 (상대 또는 메트릭)
단안 뷰 합성	RGB 이미지	3D Gaussian‑splatting 모델 + 선택적 신규 뷰 비디오
깊이 센서 보강	RGB + 희소 깊이	메트릭 깊이 + 3DGS

빠른 시작

설치 – INSTALL.md의 단계별 가이드를 따르십시오(Python, PyTorch, 필수 체크포인트).
데모 체험 – 공개 Gradio 앱이 Hugging Face에 호스팅되어 있습니다:
```
python app.py   # 로컬에서 동일한 인터페이스 실행
```
RGB 이미지를 업로드하고(깊이 맵이 있는 경우 함께 업로드), Depth 또는 3DGS를 선택하십시오.
명령줄에서 추론 실행 – example_scripts/ 아래에 예제 스크립트가 제공됩니다:
```
# 단일 RGB 이미지로부터 상대 깊이 추출
bash example_scripts/infer_depth/courtyard_infinidepth.sh

# 단일 RGB 이미지로부터 3D Gaussian 추출
bash example_scripts/infer_gs/courtyard_infinidepth_gs.sh

# 깊이 센서를 사용한 메트릭 깊이 추출
bash example_scripts/infer_depth/eth3d_infinidepth_depthsensor.sh
```
스크립트는 기본 설정으로 inference_depth.py 또는 inference_gs.py를 호출합니다. README에 문서화된 명령줄 플래그를 사용하여 출력 해상도 변경, 스카이 마스킹 활성화, 포인트 클라우드 내보내기 등을 수행할 수 있습니다.

다중 뷰 / 비디오 지원

inference_multi_view_depth.py는 이미지 폴더나 비디오를 처리하여 프레임별 깊이 맵, 정렬된 포인트 클라우드, 병합된 전역 포인트 클라우드를 생성할 수 있습니다. DA3 depth‑anything 모델을 통한 스케일 정렬을 사용하거나, 명시적인 카메라 내부/외부 파라미터(Waymo 스타일 txt 파일)를 사용할 수 있습니다.

학습 및 미세 조정

이 저장소에는 전체 학습 파이프라인(main.py)이 포함되어 있습니다. 환경 변수 workspace(실험 출력 저장 위치)와 commonspace(공유 데이터셋/사전 학습 가중치)를 설정한 후 다음을 수행할 수 있습니다:

미세 조정: 기존 체크포인트 사용

python3 main.py \
  --cfg_file training/exp_configs/exps/infinidepth.yaml \
  --include training/exp_configs/components/data/train/infinidepth_train_hypersim.yaml \
  ckpt_path=checkpoints/depth/infinidepth.ckpt \
  exp_name=finetune_infinidepth_on_hypersim \
  pl_trainer.devices=8

처음부터 학습: ckpt_path를 생략합니다.
검증은 각 에포크 후 혼합 실제 데이터 벤치마크에서 자동으로 수행됩니다.

리소스

프로젝트 페이지: https://zju3dv.github.io/InfiniDepth/
논문: https://arxiv.org/abs/2601.03252 (CVPR 2026)
Hugging Face 데모: https://huggingface.co/spaces/ritianyu/InfiniDepth
데모용 데이터셋: https://huggingface.co/datasets/ritianyu/game_4k_data

InfiniDepth는 단일 이미지로부터 고품질 깊이 또는 3D‑Gaussian 재구성이 필요한 연구자와 개발자를 대상으로 하며, 메트릭 정확도를 위한 센서 융합 옵션을 제공합니다.