ooolabdev/ooosplat

해결하는 문제

OOOSplat은 로컬 비디오를 3D 가우시안 스플래터링(3DGS) 모델로 변환하는 과정을 단순화하는 데스크톱 애플리케이션입니다. 사용자가 복잡한 명령줄 도구나 원격 서비스를 수동으로 설정할 필요 없이, 모든 필요한 엔진을 단일 로컬 워크플로우에 통합하여 제공합니다.

작동 방식

이 애플리케이션은 Rust 기반 백엔드와 React 프론트엔드를 사용하여 전문화된 도구의 파이프라인을 조율합니다:

1. 비디오 분석 및 추출: FFprobe를 사용해 비디오를 분석하고, 선택한 품질 설정(Fast, Balanced, Fine)에 따라 FFmpeg로 프레임을 추출합니다.
2. 구조에서 운동(SfM): COLMAP을 사용해 특징 추출, 매칭, 카메라 재구성 작업을 수행합니다. NVIDIA GPU가 사용 가능한지 자동 감지하여 CUDA 가속을 활용하고, 필요 시 CPU로 자동 전환합니다.
3. 학습: 재구성된 카메라와 이미지 기반으로 Brush를 사용해 가우시안 스플래터를 학습합니다.
4. 내보내기: 최종 결과를 검증하고 .ply 파일로 게시합니다.

대상 사용자

Windows, macOS(Apple Silicon), Ubuntu 24.04에서 AI 및 컴퓨터 비전 라이브러리를 수동으로 구성하지 않고도 비디오에서 3D 가우시안 스플래터링 모델을 생성하고 싶은 사용자에게 적합합니다.

주요 특징

• 일체형 번들링: FFmpeg, FFprobe, COLMAP, Brush의 내장 버전을 모두 포함합니다.
• 크로스플랫폼 지원: Windows, Apple Silicon macOS, Ubuntu 24.04용 네이티브 빌드 제공.
• 자동화된 파이프라인: 프레임 추출에서 최종 PLY 생성까지 몇 번의 클릭으로 모든 과정을 처리합니다.
• 하드웨어 자동 감지: 시스템 기능에 따라 COLMAP의 CUDA GPU와 CPU 간 자동 전환을 지원합니다.
• 품질 프리셋: 프레임 유지율과 학습 반복 횟수를 조절하는 세 가지 품질 레벨(Fast, Balanced, Fine) 제공.