yzfzzz/depth-detect

解決する課題

このプロジェクトは、自転車用のインテリジェントバックミラーシステムを実装します。物体検出と深度推定を組み合わせて「高速接近」車両を識別し、リアルタイムの危険検出のニーズに対応します。特に、NVIDIA Jetsonのようなリソース制約のある組み込みプラットフォームで、これらの計算集約的なモデルを実行するという課題を解決します。

仕組み

このシステムは、物体検出にYOLO、深度推定にさまざまなモデル（Depth-Anything、Lite-Mono、YOLO-Depthなど）を融合します。深度が減少し、バウンディングボックスの高さが時間とともに増加しているかを監視することで、ターゲットが危険かどうかを判断します。

パフォーマンスを最適化するために、3つのスケジューリングモードを採用しています：

• シリアル：検出と深度推定が順次実行されます。
• オーバーラップ：両方のモデルがCUDAストリームを使用して非同期に実行され、GPU使用率を最大化します。
• スタガー：モデルが異なる間隔でスケジュールされ（例：毎フレーム検出、3フレームごとに深度）、以前の結果を再利用して全体のFPSを向上させます。

マルチオブジェクト追跡にはBYTETrackerを使用し、TCP経由でJSON形式のアラートを報告します。パイプライン全体はTensorRTとCUDAで高速化されています。

対象読者

• スマート車両安全システムやADAS（先進運転支援システム）を構築する開発者。
• NVIDIA Jetson（TX2、Nano）やx86 Linuxプラットフォームで組み込みAIに取り組むエンジニア。
• 2D検出と単眼/両眼深度推定のリアルタイム融合に興味のある研究者。

ハイライト

• 柔軟なスケジューリング：同期、非同期オーバーラップ、スタガード推論をサポートし、レイテンシとスループットのバランスを取ります。
• 組み込み最適化：Jetson TX2/Nanoおよびx86と完全互換で、TensorRT FP16アクセラレーションを備えています。
• 危険検出：深度変化率とバウンディングボックスの成長に基づくカスタム「接近」ロジックを実装。
• 堅牢なI/O：非同期ディスク書き込みバッファを備え、I/Oボトルネックが推論パイプラインを遅くするのを防ぎます。