zju3dv/street_crafter

해결하는 문제

StreetCrafter는 새로운 경로에서 현실적인 스트리트 뷰 동영상을 합성하는 문제를 해결합니다. 일반적인 동영상 생성 도구로는 어려운 다양한 시점 간의 일관성을 유지하면서 고품질이고 제어 가능한 스트리트 장면을 생성할 수 있습니다.

작동 방식

이 시스템은 세 단계의 파이프라인을 사용합니다:

1. 조건 설정: LiDAR 데이터, 캘리브레이션된 이미지, 객체 트랙레트를 처리하여 색상화된 포인트 클라우드를 생성하고, 모델의 픽셀 수준 조건으로 사용합니다.
2. 제어 가능한 생성: 관측된 이미지와 참조 임베딩을 사용하여 최적화된 동영상 확산 모델을 LiDAR 렌더링을 조건으로 하여 제어 가능한 스트리트 뷰 동영상을 생성합니다.
3. 3D 증류: 확산 모델에서 생성된 뷰를 감독 신호로 사용하여 동적 3D 가우시안 스플래터링(3DGS) 표현을 최적화하여 새로운 경로의 렌더링을 가능하게 합니다.

대상 사용자

이 프로젝트는 컴퓨터 비전, 자율주행 시뮬레이션, 3D 장면 재구성 분야에서 일하는 연구자 및 개발자에게 적합합니다.

주요 특징

• LiDAR 가이드: 색상화된 포인트 클라우드를 사용하여 동영상 생성을 위한 정밀한 공간 조건을 제공합니다.
• 하이브리드 접근법: 동영상 확산 모델의 생성 능력과 3D 가우시안 스플래터링의 구조적 일관성을 결합합니다.
• 새로운 뷰 합성: 완전히 새로운 경로에서 스트리트 장면을 렌더링할 수 있습니다.
• 동적 표현: 확산 모델에서 생성된 콘텐츠를 동적 3D 표현으로 증류할 수 있습니다.