NVIDIA-AI-IOT/Lidar_AI_Solution

A project demonstrating Lidar related AI solutions, including three GPU accelerated Lidar/camera DL networks (PointPillars, CenterPoint, BEVFusion) and the related libs (cuPCL, 3D SparseConvolution, YUV2RGB, cuOSD,).

解決的問題

本專案為自動駕駛車輛的 3D Lidar 感知提供高度優化的 CUDA 與 TensorRT 實作套件。它解決了與稀疏卷積、點雲處理及多模態感測器融合（Lidar 與攝影機）相關的效能瓶頸，能在 NVIDIA 硬體上實現更快的推論與更低的記憶體佔用。

工作原理

該解決方案實作了多個專業組件：

推論引擎： 針對 CenterPoint、BEVFusion 與 PointPillars 等流行 3D 檢測架構優化的 CUDA 核心與 TensorRT 整合。
稀疏卷積： 專用於 3D 稀疏卷積網路的輕量級推論引擎，可獨立於 TensorRT 運作，並使用 INT8/FP16 精度。
點雲函式庫 (cuPCL)： 用於點雲配準 (ICP, NDT)、過濾、分割與分群的 GPU 加速操作。
數據流水線： 用於 YUV 轉 RGB、ROI 處理與體素化的高效能核心，為 AI 模型準備原始感測器數據。
視覺化： 基於 CUDA 的螢幕顯示 (cuOSD) 函式庫，透過 GPU 核心直接繪製邊界框與文字。

適用對象

專為需要在 NVIDIA GPU 上部署高效能 Lidar 基礎 AI 模型的自動駕駛系統、機器人與 3D 感知領域的工程師與研究人員設計。

亮點

優化的架構： BEVFusion、CenterPoint 與 PointPillars 的高保真實作。
記憶體效率： 稀疏卷積的低記憶體佔用（約 422-426MB）。
硬體加速： 大量使用 CUDA 核心進行預處理、後處理與視覺化，以最大限度減少 CPU-GPU 數據傳輸。
量化支援： 包括訓練後量化 (PTQ) 與量化感知訓練 (QAT) 解決方案。
整合工具： 包括 GPU 加速的點雲函式庫 (cuPCL) 與快速圖像轉換工具。