yzfzzz/depth-detect

mono / stereo depth estimation + yolo object detection with deployment on Jeston nano / TX2 / GeForce by TensorRT

解決的問題

提供一個高效率的框架,實時融合物件檢測與深度估計。透過融合這兩項能力,系統不僅能識別物件,還能估算其距離與運動狀態(速度與加速度),對於障礙物避讓或機器人感知等應用至關重要。

工作原理

該框架採用 C++ 與 TensorRT 基礎的流程,並行執行兩個模型:檢測模型(YOLO)與深度估計模型(Depth-Anything 或 Lite-Mono)。支援同步與非同步(GPU 重疊)執行,以最大化吞吐量。物件檢測完成後,系統使用 BYTETracker 進行多物件追蹤,並結合卡爾曼濾波器平滑運動狀態,根據深度圖估算距離變化。

適用對象

專為在 x86 Linux 或 NVIDIA Jetson 嵌入式平台開發電腦視覺系統的開發者設計,適用於需要低延遲、即時空間感知的應用場景。

核心亮點

  • 並行推論:支援同步與非同步流程,實現深度與檢測的並行處理。
  • 硬體加速:利用 CUDA 加速預處理(Resize、Normalize)與後處理(NMS),降低 CPU 負載。
  • 運動追蹤:整合 BYTETracker 與卡爾曼濾波,實現物件追蹤並估算其運動動態。
  • 跨平台相容:相容桌面 GPU(RTX 系列)與嵌入式裝置(Jetson TX2)。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案