Pointcept/Concerto

해결하는 문제

Concerto는 2D와 3D를 결합한 자기지도 학습 기반 사전 훈련을 통해 3D 포인트 클라우드에 대한 고품질 공간 표현을 학습하는 방법을 제공합니다. 방대한 레이블이 붙은 3D 데이터가 필요 없이 다양한 하류 3D 인지 작업에 효과적으로 사용할 수 있는 강력한 3D 인코더를 구축하는 문제를 해결합니다.

작동 방식

Concerto는 Point Transformer V3 (PTv3) 아키텍처를 기반으로 합니다. Sonata 프레임워크에서 수정한 자기지도 학습 방식을 사용하여 2D 및 3D 데이터 양쪽에서 모델을 사전 훈련합니다. 결과적으로 생성된 인코더 전용 모델은 3D 포인트 클라우드(좌표, 색상, 법선 포함)에서 특징을 추출하고, 이러한 특징을 원래 포인트 클라우드 스케일로 매핑하여 하류 작업에 활용할 수 있습니다.

대상 사용자

이 프로젝트는 3D 컴퓨터 비전, 포인트 클라우드 분석, 공간 표현 학습에 종사하는 연구자 및 개발자들을 위한 것입니다.

주요 특징

• 2D-3D 연합 사전 훈련: 두 모달리티를 활용하여 더 나은 공간 표현을 도출합니다.
• 다양한 모델 크기: 소형(39M), 베이스(108M), 대형(208M) 모델에 대한 사전 훈련된 가중치를 제공합니다.
• 유연한 입력: 색상 및 법선 정보가 포함되거나 포함되지 않은 포인트 클라우드를 모두 지원합니다.
• 통합 시각화: PCA 시각화, 유사도 히트맵, 세그멘테이션 선형 탐색을 위한 데모가 내장되어 있습니다.