yzfzzz/depth-detect
mono / stereo depth estimation + yolo object detection with deployment on Jeston nano / TX2 / GeForce by TensorRT
解决的问题
本项目实现了一个自行车智能后视镜系统。它结合物体检测与深度估计,以识别“快速接近”的车辆,满足实时危险检测的需求。它特别解决了在资源受限的嵌入式平台(如 NVIDIA Jetson)上运行这些计算密集型模型的挑战。
工作原理
该系统融合 YOLO 进行物体检测,以及多种深度估计模型(如 Depth-Anything、Lite-Mono 或 YOLO-Depth)。它通过监控深度是否随时间减少,同时边界框高度是否增加,来判断目标是否危险。
为了优化性能,它采用三种调度模式:
- 串行(Serial):检测与深度估计依次执行。
- 重叠(Overlap):两个模型使用 CUDA 流异步执行,以最大化 GPU 利用率。
- 交错(Stagger):模型以不同间隔调度(例如,每帧检测,每 3 帧深度估计),重用先前结果以提高整体 FPS。
它使用 BYTETracker 进行多目标跟踪,并通过 TCP 以 JSON 格式报告警报。整个流水线使用 TensorRT 和 CUDA 加速。
适用对象
- 构建智能车辆安全系统或 ADAS(高级驾驶辅助系统)的开发者。
- 在 NVIDIA Jetson(TX2、Nano)或 x86 Linux 平台上从事嵌入式 AI 的工程师。
- 对 2D 检测与单目/双目深度估计的实时融合感兴趣的研究人员。
亮点
- 灵活调度:支持同步、异步重叠和交错推理,以平衡延迟与吞吐量。
- 嵌入式优化:完全兼容 Jetson TX2/Nano 和 x86,并具备 TensorRT FP16 加速。
- 危险检测:实现基于深度变化率和边界框增长的自定义“接近”逻辑。
- 稳健的 I/O:具备异步磁盘写入缓冲区,防止 I/O 瓶颈拖慢推理流水线。
相关
- 项目
- 项目
- 项目
- 项目
- 项目