NVIDIA-AI-IOT/Lidar_AI_Solution

A project demonstrating Lidar related AI solutions, including three GPU accelerated Lidar/camera DL networks (PointPillars, CenterPoint, BEVFusion) and the related libs (cuPCL, 3D SparseConvolution, YUV2RGB, cuOSD,).

해결하는 문제

이 프로젝트는 자율 주행 차량의 3D Lidar 기반 인식을 위해 고도로 최적화된 CUDA 및 TensorRT 구현 스위트를 제공합니다. 희소 합성곱, 포인트 클라우드 처리 및 멀티모달 센서 퓨전(Lidar 및 카메라)과 관련된 성능 병목 현상을 해결하여 NVIDIA 하드웨어에서 더 빠른 추론과 낮은 메모리 사용량을 가능하게 합니다.

작동 방식

이 솔루션은 다음과 같은 전문화된 구성 요소를 구현합니다:

추론 엔진: CenterPoint, BEVFusion, PointPillars와 같은 대중적인 3D 탐지 아키텍처를 위한 최적화된 CUDA 커널 및 TensorRT 통합.
희소 합성곱: TensorRT와 독립적으로 작동하며 INT8/FP16 정밀도를 사용하는 3D 희소 합성곱 네트워크용 전용 경량 추론 엔진.
포인트 클라우드 라이브러리 (cuPCL): 포인트 클라우드 등록 (ICP, NDT), 필터링, 세그멘테이션 및 클러스터링을 위한 GPU 가속 작업.
데이터 파이프라인: 원시 센서 데이터를 AI 모델에 준비시키기 위한 YUV-to-RGB 변환, ROI 처리 및 복셀화(voxelization)를 위한 고성능 커널.
시각화: GPU 커널을 통해 바운딩 박스와 텍스트를 직접 그리기 위한 CUDA 기반 온스크린 디스플레이 (cuOSD) 라이브러리.

대상 사용자

이 프로젝트는 NVIDIA GPU에서 고성능 Lidar 기반 AI 모델을 배포해야 하는 자율 주행 시스템, 로보틱스 및 3D 인식 분야의 엔지니어와 연구자를 위해 설계되었습니다.

주요 특징

최적화된 아키텍처: BEVFusion, CenterPoint, PointPillars의 고충실도 구현.
메모리 효율성: 희소 합성곱에 대한 낮은 메모리 점유율 (약 422-426MB).
하드웨어 가속: 전처리, 후처리 및 시각화에 CUDA 커널을 광범위하게 사용하여 CPU-GPU 데이터 전송을 최소화함.
양자화 지원: 사후 양자화 (PTQ) 및 양자화 인식 훈련 (QAT) 솔루션 포함.
통합 도구: GPU 가속 포인트 클라우드 라이브러리 (cuPCL) 및 빠른 이미지 변환 유틸리티 포함.