Jumpat/SegAnyGAussians

무엇이 문제를 해결하나요

SAGA(Segment Any 3D GAussians)는 3D 가우시안 스플래팅(3DGS)으로 재구성된 3D 씬 내의 개별 객체를 세그먼트화할 수 있게 합니다. 인터랙티브 프롬프트 또는 오픈 어휘 쿼리를 사용하여 복잡한 씬에서 특정 3D 객체를 격리 및 추출함으로써, 3D 씬이 단일 세그먼트되지 않은 가우시안 클라우드로 표현되는 문제를 해결합니다.

어떻게 작동하나요

이 시스템은 사전 학습된 Segment Anything Model(SAM)과 CLIP 기능을 활용하여 2D 이미지 마스크와 시맨틱 기능을 3D 가우시안 속성과 연결합니다. 다단계 파이프라인을 따릅니다:

1. 3DGS 훈련: 먼저 씬에 대해 표준 3D 가우시안 스플래팅 모델을 훈련합니다.
2. 기능 추출: 이미지에서 SAM의 2D 마스크와 CLIP 기능을 추출합니다.
3. 친화도 훈련: 대비 학습 접근법을 사용하여 동일한 객체에 속하는 가우시안이 기능 공간에서 유사하도록 보장하기 위해 3D 가우시안 친화도 기능을 훈련합니다.
4. 세그먼테이션: 사용자는 GUI 또는 노트북을 통해 포인트 프롬프트를 제공하고, 시스템은 유사도를 계산하여 3D 가우시안을 세그먼트화합니다.

누구를 위한 도구인가요

이 도구는 3D 컴퓨터 비전, 씬 재구성, 증강 현실 분야에서 작업하는 연구자 및 개발자를 위해 설계되었으며, 3D-GS로 재구성된 환경에서 특정 객체를 식별하고 격리해야 하는 사용자를 대상으로 합니다.

주요 기능

• 인터랙티브 GUI: dearpygui 기반 인터페이스를 포함하여 실시간으로 객체를 세그먼트화하기 위해 회전, 팬, 포인트 프롬프트 입력이 가능합니다.
• 오픈 어휘 세그먼테이션: Jupyter 노트북에서 구현된 CLIP 기능을 사용하여 텍스트 기반 설명을 통한 객체 쿼리를 지원합니다.
• 3D 클러스터링: 객체 분해를 위해 3D 클러스터링을 수행하기 위해 HDBSCAN을 통합합니다.
• 유연한 렌더링: 배경을 분리하여 세그먼트된 객체를 렌더링하거나 2D 렌더링 마스크를 생성할 수 있는 기능입니다.