harry7557558/spirula-studio

해결하는 문제

Spirula Studio는 3D 가우시안 스플래팅을 위한 간편하고 통합된 파이프라인을 제공합니다. Python, PyTorch, 또는 COLMAP과 같은 별도의 구조-에서-모션(SfM) 도구와 같은 복잡한 종속성 없이, 단일 바이너리에서 원시 사진이나 동영상을 3D 스플래트 및 텍스처 메시로 변환할 수 있습니다.

작동 방식

이 프로젝트는 Vulkan 기반의 컴퓨트 백엔드를 사용하여 NVIDIA, AMD, Intel, Apple Silicon 등 다양한 벤더의 GPU를 지원합니다. MCMC, IGS+, MRNF를 결합한 학습 전략을 구현하여 더 선명한 결과와 더 적은 아티팩트를 생성합니다. 높은 효율성을 유지하기 위해 양자화된 학습을 사용하여 8GB VRAM에서 최대 1,000만 개의 가우시안을 학습할 수 있습니다. 또한 프레임 추출, AI 마스킹(SAM을 통한), 카메라 자세 추정을 위한 내장형 SfM 도구도 포함되어 있습니다.

대상 사용자

GPU 하드웨어에 관계없이 설치가 간편하고 자가 완결형인 고성능 3D 재구성 파이프라인을 원하는 아티스트, 3D 개발자, 연구자.

주요 특징

• 다양한 벤더 GPU 지원: Vulkan을 통해 NVIDIA, AMD, Intel, Apple GPU에서 작동.
• VRAM 효율성: 양자화된 학습을 통해 8GB VRAM의 소비자용 하드웨어에서도 대규모 장면(1,000만 개의 가우시안)을 처리 가능.
• 엔드투엔드 워크플로우: 프레임 추출, AI 마스킹, SfM이 통합되어 외부 스크립트가 필요 없음.
• 특수 카메라 지원: 왜곡 보정 없이 360° 및 이퀴레크탱귤러 카메라를 네이티브로 지원.
• 품질 향상: 수정된 이중 그리드와 PPISP를 사용하여 노출 및 화이트 밸런스 보정.