Pointcept/Utonia

해결하는 문제

Utonia는 3D 포인트 클라우드를 위한 크로스도메인 사전 훈련된 인코더를 제공하며, 실내, 실외, 객체 수준의 데이터와 같은 다양한 도메인의 다양한 하류 3D 작업에 적용 가능한 단일한 유니버설 인코더를 만들려는 목표를 가지고 있습니다. 별도의 전용 모델이 필요하지 않습니다.

작동 방식

Point Transformer V3 (PTv3) 아키텍처를 기반으로 하며, Sonata 및 Concerto 프레임워크에서 수정되었습니다. 모델은 3D 포인트 클라우드 데이터(좌표, 색상, 법선)를 입력으로 받아 계층적인 인코딩 특징을 생성하는 인코더 전용 시스템입니다. 이러한 특징은 원래 포인트 클라우드 스케일로 다시 매핑되어 세그멘테이션 또는 시각화와 같은 작업에 사용할 수 있습니다.

대상 사용자

3D 컴퓨터 비전에 종사하는 연구자 및 개발자로, 특히 포인트 클라우드 분석, 세그멘테이션, 3D 장면 이해에 고품질의 사전 훈련된 표현이 필요한 분들입니다.

주요 특징

• 크로스도메인 기능: 실내, 실외, 객체 등 다양한 3D 데이터셋에서 작동하도록 설계되었습니다.
• 추론 데모: PCA 시각화, 유사도 히트맵, 세그멘테이션을 위한 즉시 사용 가능한 스크립트가 포함되어 있습니다.
• 유연한 통합: 빠른 테스트를 위한 독립형 모드와 기존 코드베이스에 통합하기 위한 패키지 모드를 모두 제공합니다.
• 비디오 지원: VGGT와 함께 사용하여 비디오에서 추출한 포인트 클라우드를 처리할 수 있습니다.