zju3dv/AutoRecon

AutoRecon – 자동 3D 객체 탐지 및 재구성

무엇인가요 – AutoRecon은 일반적인 RGB 이미지 시퀀스(또는 표준 형식의 데이터셋)를 입력으로 받아 개별 객체를 자동으로 탐지하고, 분할한 후 신경망 기반 SDF 표면으로 3D 기하학을 재구성하는 오픈소스 파이프라인입니다. NeRFStudio 및 SDFStudio 프레임워크를 기반으로 하며, 이들의 신경 렌더링 및 부호 거리 함수(SDF) 기능을 재사용합니다.

주요 구성 요소

• AutoDecomp (별도의 리포지토리) – 카지오 캡처에서 객체를 탐지하고 분리하는 계층적 장면 분해.
• 신경 표면 재구성 – 이 리포지토리의 코드는 탐지된 각 객체에 대해 SDF 기반 신경 표현을 적합시키며, 메시를 내보낼 수 있습니다.

일반적인 워크플로우

1. 데이터 준비 – data/ 폴더 아래에 연속된 이미지 폴더(또는 IDR/BlendedMVS/CO3D 형식의 데이터셋)를 배치합니다.
2. 파이프라인 실행 – 제공된 쉘 스크립트 중 하나를 실행합니다. 예: exps/code-release/run_pipeline_demo_low-res.sh. 스크립트는 구조-운동(Structure-from-Motion), 객체 탐지, SDF 학습을 자동으로 수행합니다.
3. 메시 추출 – 학습 후, 생성된 config.yml과 모델 체크포인트를 사용해 ns-extract-mesh를 호출하여 .ply 메시를 생성합니다. MeshLab을 사용해 선택적으로 후처리(환경광 차단 기반 내부 기하 구조 제거)가 가능합니다.

설치 – 자세한 절차는 docs/INSTALL.md에 기재되어 있습니다. 프로젝트는 nerfstudio, sdfstudio, nerfacc, tyro의 Python 패키지에 의존하며, 최신 PyTorch 빌드가 필요합니다.

의미 – 기존 3D 재구성 파이프라인은 수동 객체 분할과 정교한 카메라 캘리브레이션을 필요로 합니다. AutoRecon은 탐지 단계를 자동화하여, 수동 라벨링 없이 일상적인 동영상 캡처에서 개별 객체를 재구성할 수 있게 하며, 로봇공학, AR/VR 콘텐츠 제작, 신경망 장면 표현 연구에 유용합니다.

인용 – 학술 작업에서 코드를 사용할 경우, CVPR 2023 논문을 인용해 주세요:

@inproceedings{wang2023autorecon,
  title={AutoRecon: Automated 3D Object Discovery and Reconstruction},
  author={Wang, Yuang and He, Xingyi and Peng, Sida and Lin, Haotong and Bao, Hujun and Zhou, Xiaowei},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={21382--21391},
  year={2023}
}

감사의 말 – 구현은 nerfstudio, sdfstudio, nerfacc, tyro에서 상당 부분의 코드를 재사용했습니다.