isl-org/Open3D-ML

해결하는 문제

Open3D-ML은 점군과 같은 3D 데이터 처리의 복잡성에 초점을 맞춘 3D 머신러닝을 위한 표준화된 프레임워크를 제공합니다. 장면 내 개별 포인트에 레이블을 붙이는 세분화(Semantic Segmentation)와 3D 공간 내 객체를 식별하고 위치를 찾는 3D 객체 탐지와 같은 일반적인 3D AI 작업의 워크플로우를 단순화합니다.

작동 방식

Open3D 핵심 라이브러리의 확장으로, 머신러닝 도구를 3D 데이터 처리 파이프라인에 직접 통합합니다. 이 프로젝트는 PyTorch와 TensorFlow를 모두 지원하여 기존 ML 프레임워크를 활용할 수 있습니다. 다음과 같은 구조화된 접근 방식을 제공합니다:

• 데이터셋: SemantickITTI, KITTI와 같은 일반적인 3D 데이터셋을 읽기 위한 내장 클래스.
• 모델: 다양한 3D 작업용 사전 학습 모델(모델 저지) 라이브러리.
• 파이프라인: 트레이닝, 추론, 평가를 처리하기 위한 고수준 인터페이스로, 반복 코드를 작성할 필요가 없습니다.
• 시각화: 3D 데이터와 모델 예측을 시각화하는 도구.

대상 사용자

3D 컴퓨터 비전, 로보틱스, 자율주행 분야에서 일하는 연구자 및 개발자에게 적합합니다. 점군 데이터에 머신러닝을 적용해야 하는 분들께 추천합니다.

주요 특징

• 이중 프레임워크 지원: PyTorch와 TensorFlow 모두 호환됩니다.
• 사전 학습 모델 저지: RandLA-Net, KPConv, PointPillars 등의 모델 가중치 포함.
• 통합 파이프라인: 단일 인터페이스 또는 사전 정의된 스크립트를 통해 모델 학습 및 테스트를 간소화합니다.
• 통합 시각화: 3D 데이터셋과 경계 상자(Bounding Boxes)를 시각화하는 내장 도구.