LichtFeld-Studio: 3D Gaussian Splatting 장면의 학습, 편집 및 자동화를 위한 모듈형 워크스테이션

해결하는 문제

LichtFeld Studio는 전체 3D Gaussian Splatting (3DGS) 워크플로우를 위한 통합된 네이티브 애플리케이션을 제공합니다. 학습, 실시간 시각화 및 장면 편집을 하나의 툴체인으로 결합함으로써 별도의 학습 스크립트, 독립형 뷰어 및 편집 도구 사이를 전환해야 하는 번거로움을 제거합니다.

작동 방식

C++23 및 CUDA 12.8+로 구축된 이 애플리케이션은 사용자가 COLMAP 데이터셋으로부터 새로운 장면을 학습시키고 체크포인트에서 재개할 수 있도록 합니다. 재구성된 결과물을 실시간으로 검사하고, gaussian 서브셋을 선택 및 변형하며, 결과를 PLY, SOG, SPZ와 같은 형식이나 독립형 HTML 뷰어로 내보낼 수 있는 대화형 환경을을 제공합니다.

대상 사용자

• 연구원: 재구성 품질을 반복적으로 개선하고 MCMC optimization 및 bilateral grid appearance modeling과 같은 고급 기능을 테스트하는 사용자. \n- 제작 팀: 휴대 가능한 내보내기 결과물을 제공하기 위해 gaussian 선택 영역을 시각적으로 검사하고 편집해야 하는 전문가.

• 도구 제작자: Python 플러그인 시스템 및 MCP 기반 자동화를 통해 소프트웨어를 더 큰 파이프라인에 통합하려는 개발자.

주요 특징

• 통합 워크플로우: 학습, 실시간 검사 및 편집을 하나의 네이티브 앱에서 결합합니다.
• 확장성: 사용자 정의 도구 및 패널을 위한 Python 플러그인을 지원합니다.
• 자동화: MCP 리소스 및 도구를 통해 로컬 도구 및 에이전트와 통합됩니다.
• 연구 기능: 3DGUT 왜곡된 카메라 모델 및 타임랩스 생성을 지원합니다.
• 네이티브 성능: 현대적인 C++ 및 CUDA를 사용하여 NVIDIA GPU에 최적화되었습니다.