torch-points3d/torch-points3d

해결하는 문제

torch-points3d는 3D 점군 분석을 위한 일반적인 딥러닝 모델을 실행하고 벤치마킹하는 과정을 간소화하기 위해 설계된 프레임워크입니다. 3D 점군에서의 딥러닝을 더 접근 가능하게 만들기 위해 고수준 API를 제공하며, 복잡한 모델을 최소한의 노력으로 구축하고 높은 재현성을 보장합니다.

작동 방식

PyTorch Geometric과 Facebook Hydra 위에 구축된 이 프레임워크는 작업별로 모델과 데이터셋을 정리합니다. 분류, 세분화, 객체 탐지, 팬토피크 세분화, 등록 등 다양한 3D 분석 작업을 지원합니다.

주요 기술적 기능:

• 스퍼스 컨볼루션 지원: Minkowski Engine과 torchsparse와의 통합을 통해 효율적인 3D 컨볼루션을 제공합니다.
• 사전 학습 모델 레지스트리: 사전 학습된 모델을 쉽게 공유하고, WandB에 업로드하며, 재생성할 수 있는 시스템을 제공하여 파인튜닝이나 생산 환경에 활용 가능합니다.
• 모듈러 아키텍처: 핵심 컴포넌트, 데이터셋, 메트릭, 모델을 분리하여 제공된 모듈을 조합해 사용자 정의 네트워크를 구축할 수 있습니다.

대상 사용자

3D 컴퓨터 비전 및 점군 데이터를 다루는 연구자 및 개발자로, 최신 3D 딥러닝 아키텍처를 구현, 학습, 평가하기 위한 표준화된 환경이 필요한 분들입니다.

주요 특징

• 풍부한 모델 라이브러리: PointNet, PointNet++, RandLA-Net, KPConv, VoteNet 등 수많은 아키텍처를 구현했습니다.
• HuggingFace 유사 경험: PretrainedRegistry를 사용하면 몇 줄의 코드로 사전 학습된 가중치와 변환을 다운로드하고 사용할 수 있습니다.
• 광범위한 데이터셋 지원: ScanNet, S3DIS, ShapeNet, ModelNet 등의 벤치마크에 내장된 지원을 제공합니다.
• 믹스드 프리시전 학습: torchsparse 백엔드를 통해 float16 연산을 지원하여 GPU 메모리 사용량을 줄이고 속도를 향상시킵니다.