Linketic/CityGaussian

해결하는 문제

CityGaussian는 가우시안 스플래팅을 활용하여 고품질의 대규모 3D 장면(예: 도시 규모 환경)을 재구성하는 문제를 해결합니다. 거대한 데이터셋을 다룰 때 발생하는 메모리 비용과 GPU 제약을 극복하면서도 기하학적 정확도와 렌더링 속도를 향상시킵니다.

작동 방식

이 프로젝트는 장면 재구성에 가우시안 스플래팅을 활용하는 일련의 방법(V1 및 V2)을 구현합니다. 주요 기능은 다음과 같습니다:

• 멀티 GPU 재구성: 메모리 비용을 제어 가능한 방식으로 여러 GPU에 재구성 프로세스를 분산하는 시스템.
• 모델 분할: 대규모 장면을 처리하기 위해 데이터를 특정 모델 파티션에 분석 및 할당.
• 공동 최적화: 카메라 포즈와 3DGS를 동시에 최적화할 수 있는 기능. 특히 VGGT-X와 같은 3D 기초 모델의 결과처럼 부정확한 카메라 포즈 데이터에 유용.
• 메시 추출: 가우시안 표현을 기하학적 메시로 변환하기 위한 2DGS 스타일의 메시 추출 기능을 통합.

대상 사용자

이 도구는 3D 컴퓨터 비전, 도시 계획, 디지털 트윈 생성 분야에서 일하는 연구자 및 개발자에게 적합합니다. 이미지에서 실제 대규모 환경을 실제로 재구성해야 하는 분들을 위한 것입니다.

주요 특징

• 확장 가능한 인프라: GPU 수에 제한 없이 멀티 GPU 재구성을 지원.
• 기하학적 정확도: CityGaussianV2에서 강조된 바와 같이 기하학적으로 정확한 재구성에 중점을 둠.
• 유연한 최적화: 노이즈가 있는 COLMAP 결과에 대응하기 위해 카메라 포즈와 3DGS의 공동 최적화를 지원.
• 통합 도구: 웹 뷰어, 트래잭토리 정렬 렌더링, 메시 비디오 생성 기능 포함.