prs-eth/LitePT

해결하는 문제

LitePT는 3D 포인트 클라우드 아키텍처의 높은 계산 비용과 메모리 요구량을 해결하며, 특히 Point Transformer V3 (PTv3) 의 비효율성을 타겟으로 합니다. 정확도를 희생하지 않고도 훨씬 가볍고 빠른 고성능 대안을 제공합니다.

작동 방식

LitePT는 다양한 규모(Small, Base, Large)로 제공되는 경량 3D 포인트 클라우드 아키텍처입니다. 최고의 성능을 위해 CUDA 최적화된 버전과 더 넓은 호환성을 위해 순수한 PyTorch 구현이 제공되는 특수한 구성 요소인 PointROPE를 사용합니다. 파라미터 수와 메모리 사용량 측면에서 더 효율적이면서도 최신 기술 수준의 백본과 동등하거나 그 이상의 성능을 유지하거나 초과하도록 설계되었습니다.

대상 사용자

이 프로젝트는 3D 컴퓨터 비전에 종사하는 연구자 및 개발자, 특히 3D 포인트 클라우드 내에서 세그멘테이션(세분화), 인스턴스 세그멘테이션, 객체 탐지에 집중하는 분들을 대상으로 합니다.

주요 특징

• 고효율성: LitePT-S는 PTv3 대비 파라미터 수가 3.6배 적고, 실행 시간은 2배 빠르며, 메모리 사용량은 2배 낮습니다.
• 확장 가능한 성능: 대규모 버전(LitePT-L)도 파라미터 수가 더 많음에도 불구하고 PTv3보다 메모리 효율이 뛰어납니다.
• 다양한 응용 가능성: NuScenes, Waymo, ScanNet, Structured3D 등의 벤치마크에서 세그멘테이션, 인스턴스 세그멘테이션, 객체 탐지에 대응합니다.
• 유연한 통합: 독립형 구현과 간편한 외부 프로젝트 통합을 위한 데모 스크립트를 제공합니다.