yzfzzz/depth-detect

해결하는 문제

이 프로젝트는 자전거용 지능형 후방 거울 시스템을 구현합니다. 객체 감지와 깊이 추정을 결합하여 '빠르게 접근하는' 차량을 식별함으로써 실시간 위험 감지의 필요성을 해결합니다. 특히 NVIDIA Jetson과 같은 리소스 제약이 있는 임베디드 플랫폼에서 이러한 계산 집약적 모델을 실행하는 과제를 해결합니다.

작동 방식

이 시스템은 객체 감지에 YOLO를, 다양한 깊이 추정 모델(예: Depth-Anything, Lite-Mono, YOLO-Depth)을 융합합니다. 시간이 지남에 따라 깊이가 감소하고 경계 상자 높이가 증가하는지 모니터링하여 대상이 위험한지 판단합니다.

성능을 최적화하기 위해 세 가지 스케줄링 모드를 사용합니다:

• 직렬: 감지와 깊이 추정이 순차적으로 실행됩니다.
• 중첩: 두 모델이 CUDA 스트림을 사용하여 비동기적으로 실행되어 GPU 활용도를 극대화합니다.
• 지연: 모델이 다른 간격으로 스케줄링되어(예: 매 프레임 감지, 3프레임마다 깊이) 이전 결과를 재사용하여 전체 FPS를 높입니다.

다중 객체 추적에는 BYTETracker를 사용하며, TCP를 통해 JSON 형식으로 경고를 보고합니다. 전체 파이프라인은 TensorRT와 CUDA로 가속화됩니다.

대상 사용자

• 스마트 차량 안전 시스템 또는 ADAS(첨단 운전자 지원 시스템)를 구축하는 개발자.
• NVIDIA Jetson(TX2, Nano) 또는 x86 Linux 플랫폼에서 임베디드 AI를 작업하는 엔지니어.
• 2D 감지와 단안/양안 깊이 추정의 실시간 융합에 관심이 있는 연구자.

주요 특징

• 유연한 스케줄링: 동기, 비동기 중첩, 지연 추론을 지원하여 지연 시간과 처리량의 균형을 맞춥니다.
• 임베디드 최적화: Jetson TX2/Nano 및 x86과 완전 호환되며 TensorRT FP16 가속을 갖추고 있습니다.
• 위험 감지: 깊이 변화율과 경계 상자 성장에 기반한 맞춤형 '접근' 로직을 구현합니다.
• 견고한 I/O: 비동기 디스크 쓰기 버퍼를 갖추어 I/O 병목 현상이 추론 파이프라인을 느려지게 하는 것을 방지합니다.