junhong-3dv/s2m2

해결하는 문제

S²M²는 두 대의 오프셋 카메라 이미지에서 깊이 정보를 계산하는 프로세스인 스테레오 매칭을 위한 고성능 솔루션을 제공합니다. 변위, 폐색 및 신뢰도 수준을 동시에 예측할 수 있는 안정적이고 확장 가능한 깊이 추정의 필요성을 해결합니다.

작동 방식

핀홀 카메라 모델 하에서 작동하는 스테레오 매칭을 위해 설계된 딥러닝 아키텍처를 사용합니다. 모델은 보정된 스테레오 이미지 쌍을 입력으로 받아 확장 가능한 네트워크를 통해 처리하여 깊이 맵을 출력합니다. 정확도를 향상시키기 위한 반복 정제 모듈이 포함되어 있으며 속도와 성능의 균형을 맞추기 위해 다양한 정밀도 모드(FP16/FP32)를 지원합니다. 아키텍처는 배포에 최적화되어 있어 실시간 추론을 위해 ONNX 및 TensorRT 형식으로의 변환을 허용합니다.

대상 사용자

이 프로젝트는 3D 재구성, 로봇 공학 또는 자율 시스템을 연구하는 연구자와 컴퓨터 비전 엔지니어로서 최첨단 깊이 추정 기능이 필요한 사람들을 위한 것입니다. NVIDIA 하드웨어를 사용하여 프로덕션 환경에서 고정밀 스테레오 매칭 모델을 배포하려는 사람들에게 특히 유용합니다.

주요 특징

• ETH3D, Middlebury V3 및 Booster를 포함한 주요 벤치마크에서 최첨단 성능.
• 변위, 폐색 및 신뢰도를 공동으로 추정하여 더욱 강력한 깊이 맵 생성.
• TorchScript, ONNX 및 TensorRT를 지원하여 배포에 고도로 최적화됨.
• 여러 모델 크기(S, M, L, XL)를 제공하여 사용자가 계산 속도와 정확성 사이에서 균형을 맞출 수 있습니다.