NVIDIA-AI-IOT/Lidar_AI_Solution

A project demonstrating Lidar related AI solutions, including three GPU accelerated Lidar/camera DL networks (PointPillars, CenterPoint, BEVFusion) and the related libs (cuPCL, 3D SparseConvolution, YUV2RGB, cuOSD,).

解决的问题

本项目为自动驾驶车辆的 3D Lidar 感知提供高度优化的 CUDA 和 TensorRT 实现套件。它解决了与稀疏卷积、点云处理和多模态传感器融合（Lidar 和摄像头）相关的性能瓶颈，能够在 NVIDIA 硬件上实现更快的推理和更低的内存占用。

工作原理

该解决方案实现了多个专业组件：

推理引擎： 针对 CenterPoint、BEVFusion 和 PointPillars 等流行 3D 检测架构优化的 CUDA 内核和 TensorRT 集成。
稀疏卷积： 专用于 3D 稀疏卷积网络的轻量级推理引擎，可独立于 TensorRT 运行，并使用 INT8/FP16 精度。
点云库 (cuPCL)： 用于点云配准 (ICP, NDT)、滤波、分割和聚类的 GPU 加速操作。
数据流水线： 用于 YUV 到 RGB 转换、ROI 处理和体素化的高性能内核，为 AI 模型准备原始传感器数据。
可视化： 基于 CUDA 的屏幕显示 (cuOSD) 库，通过 GPU 内核直接绘制边界框和文本。

适用对象

专为需要在 NVIDIA GPU 上部署高性能 Lidar 基础 AI 模型的自动驾驶系统、机器人和 3D 感知领域的工程师和研究人员设计。

亮点

优化的架构： BEVFusion、CenterPoint 和 PointPillars 的高保真实现。
内存效率： 稀疏卷积的低内存占用（约 422-426MB）。
硬件加速： 大量使用 CUDA 内核进行预处理、后处理和可视化，以最大限度地减少 CPU-GPU 数据传输。
量化支持： 包括训练后量化 (PTQ) 和量化感知训练 (QAT) 解决方案。
集成工具： 包括 GPU 加速的点云库 (cuPCL) 和快速图像转换实用程序。