NVlabs/Fast-FoundationStereo

해결하는 문제

Fast-FoundationStereo는 스테레오 매칭에서 정확도와 속도 사이의 트레이드오프를 해결합니다. 기존의 스테레오 비전용 기반 모델은 재학습 없이도 새로운 데이터에 잘 작동하는 강력한 제로샷 일반화 능력을 제공하지만, 일반적으로 실시간 사용에는 너무 느립니다. 반면 효율적인 아키텍처는 일반화 능력이 부족하고, 도메인별 정밀 조정에 비용이 많이 듭니다. 이 프로젝트는 실시간 프레임 속도로 작동하면서도 높은 제로샷 정확도를 유지하는 아키텍처의 패밀리를 제공합니다.

작동 방식

이 프로젝트는 세 가지 주요 기술 요소로 구성된 '분할 및 정복' 가속 전략을 사용합니다:

1. 지식 증류 : 복잡한 하이브리드 백본을 단일 효율적인 학습자 모델로 압축합니다.
2. 블록 단위의 신경망 아키텍처 탐색 (NAS) : 특정 지연 시간 예산에 따라 최적의 비용 필터링 설계를 자동으로 찾음으로써 탐색 복잡도를 줄입니다.
3. 구조적 프루닝 : 반복적 정밀화 모듈에서 중복을 제거합니다.

학습을 지원하기 위해 연구진은 Stereo4D 데이터셋에서 140만 개의 실제 환경 스테레오 쌍을 수집하여 합성 학습 데이터를 보완하는 자동 피사기 레이블링 파이프라인을 개발했습니다.

대상 사용자

이 도구는 도메인 특화 미세 조정 없이도 고품질 스테레오 매칭이 필요한 실시간 깊이 추정, 로봇 공학, 컴퓨터 비전 애플리케이션에 종사하는 개발자 및 연구자들을 위한 것입니다.

주요 특징

• 실시간 성능 : 원래 FoundationStereo보다 10배 이상 빠르게 실행 가능.
• 제로샷 일반화 : 추가 학습 없이도 미관측 데이터에서 높은 정확도를 유지.
• 유연한 트레이드오프 : valid_iters 및 scale와 같은 설정 플래그를 통해 속도와 정밀도의 균형을 조절할 수 있음.
• 배포 준비 완료 : ONNX 및 TensorRT (TRT)로 내보내어 최적화된 GPU 추론을 지원.