yzfzzz/depth-detect

mono / stereo depth estimation + yolo object detection with deployment on Jeston nano / TX2 / GeForce by TensorRT

解决的问题

提供一个高效率的框架,实现实时融合物体检测与深度估计。通过融合这两种能力,系统不仅能识别物体,还能估算其距离和运动状态(速度与加速度),这对于障碍物避让或机器人感知等应用至关重要。

工作原理

该框架采用基于 C++ 和 TensorRT 的流水线,同时运行两个模型:检测模型(YOLO)和深度估计模型(Depth-Anything 或 Lite-Mono)。支持同步和异步(GPU 重叠)执行,以最大化吞吐量。物体检测完成后,系统使用 BYTETracker 进行多目标跟踪,并结合卡尔曼滤波器平滑运动状态,基于深度图估算距离变化。

适用人群

专为在 x86 Linux 或 NVIDIA Jetson 嵌入式平台开发计算机视觉系统的开发者设计,适用于需要低延迟、实时空间感知的应用场景。

核心亮点

  • 并行推理:支持同步与异步流水线,实现深度与检测的并行处理。
  • 硬件加速:利用 CUDA 加速预处理(Resize、Normalize)和后处理(NMS),降低 CPU 负载。
  • 运动追踪:集成 BYTETracker 与卡尔曼滤波,实现物体追踪并估计其运动动态。
  • 跨平台兼容:兼容桌面 GPU(RTX 系列)与嵌入式设备(Jetson TX2)。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目