ika-rwth-aachen/ros2-depth-anything-v3-trt

解決的問題

本專案提供一個 ROS 2 節點，可從單一相機影像實時進行單眼度量深度估計與 3D 點雲生成。透過使用 NVIDIA TensorRT 加速的 Depth Anything V3 模型，解決了從標準影像中取得精確距離測量與空間地圖的問題。

工作原理

該節點訂閱相機影像與校準資料（相機資訊）。它透過 TensorRT 加速的 Depth Anything V3 模型處理這些影像，產生密集的度量深度圖。系統隨後應用後處理流程，根據相機焦距縮放深度，處理天空像素以避免產生不現實的距離值，並將深度圖上採樣至原始影像解析度。最後，利用相機的內參將深度圖轉換為 PointCloud2 訊息。

適用對象

此工具專為使用 ROS 2（特別是 Jazzy 版本）與 NVIDIA GPU 的機器人與自動駕駛開發者設計，適用於需要即時空間感知與深度感知能力的車輛或機器人。

主要特色

• 即時性能：使用 DA3METRIC-LARGE 模型，在 Quadro RTX 6000 上可達最高 50 FPS。
• TensorRT 加速：支援 FP16 與 FP32 精度，以優化 GPU 推論效能。
• 整合點雲生成：可直接將深度圖轉換為 3D 點雲，並支援可選的 RGB 彩色化。
• 天空像素處理：包含專門的分類步驟，用於識別並限制天空像素的深度值。
• Docker 支援：提供預編譯的 Docker 影像，簡化 CUDA 與 TensorRT 的相依性管理。