ika-rwth-aachen/ros2-depth-anything-v3-trt

解决的问题

该项目提供了一个 ROS 2 节点，可实现从单个摄像头输入中进行实时单目度量深度估计和 3D 点云生成。通过使用 NVIDIA TensorRT 加速的 Depth Anything V3 模型，解决了从标准图像中获取精确距离测量和空间映射的问题。

工作原理

该节点订阅摄像头图像和校准数据（相机信息）。它通过 TensorRT 加速的 Depth Anything V3 模型处理这些图像，生成密集的度量深度图。系统随后应用后处理流水线，基于相机焦距缩放深度，处理天空像素以防止出现不现实的距离值，并将深度图上采样至原始图像分辨率。最后，使用相机的内参将深度图转换为 PointCloud2 消息。

适用人群

本工具专为使用 ROS 2（特别是 Jazzy 版本）和 NVIDIA GPU 的机器人及自动驾驶开发者设计，适用于需要实时空间感知和深度感知能力的车辆或机器人。

主要亮点

• 实时性能：使用 DA3METRIC-LARGE 模型，在 Quadro RTX 6000 上可达到高达 50 FPS。
• TensorRT 加速：支持 FP16 和 FP32 精度，以优化 GPU 推理性能。
• 集成点云生成：可直接将深度图转换为 3D 点云，支持可选的 RGB 彩色化。
• 天空像素处理：包含专门的分类步骤，用于识别并限制天空像素的深度值。
• Docker 支持：提供预编译的 Docker 镜像，简化 CUDA 和 TensorRT 的依赖管理。