ika-rwth-aachen/ros2-depth-anything-v3-trt

何を解決するか

このプロジェクトは、単一のカメラ入力からリアルタイムの単眼メトリック深度推定と3Dポイントクラウド生成を可能にするROS 2ノードを提供します。Depth Anything V3モデルをNVIDIA TensorRTで加速することで、標準的な画像から正確な距離測定と空間マッピングを実現します。

動作方法

ノードはカメラ画像とキャリブレーションデータ（カメラ情報）を購読します。これらの画像をTensorRTで加速されたDepth Anything V3モデルで処理し、密なメトリック深度マップを生成します。その後、カメラの焦点距離に基づいて深度をスケーリングし、空のピクセルを処理して現実的でない距離値を防ぎ、深度マップを元の画像解像度までアップスケーリングするポストプロセッシングパイプラインを適用します。最後に、カメラの内部パラメータを使用して深度マップをPointCloud2メッセージに変換します。

対象ユーザー

このツールは、ROS 2（特にJazzy）とNVIDIA GPUを使用するロボット工学および自動運転開発者向けに設計されており、車両やロボットのリアルタイムの空間認識と深度認識を必要とする方々に最適です。

特徴

• リアルタイム性能: DA3METRIC-LARGEモデルを使用し、Quadro RTX 6000で最大50 FPSを達成。
• TensorRT加速: GPU推論を最適化するためのFP16およびFP32精度をサポート。
• 統合されたポイントクラウド生成: 選択的にRGBカラーリングを含む、深度マップから直接3Dポイントクラウドに変換。
• 空の処理: 空のピクセルを特定し、深度を制限する専用の分類ステップを含む。
• Docker対応: CUDAおよびTensorRTの依存関係管理を簡素化するため、事前コンパイル済みのDockerイメージを提供。