Eyeline-Labs/Vista4D

해결하는 문제

Vista4D는 소스 영상에서 완전히 새로운 카메라 경로와 시점에서 동적 장면을 합성하는 '비디오 리쇼트' 문제를 해결합니다. 특히, 실제 세계 영상의 정확하지 않은 4D 재구성 결과를 기반으로 영상 생성을 안내할 때 발생하는 분포 이동 및 아티팩트 문제를 해결합니다.

작동 방식

Vista4D는 4D 포인트 클라우드를 사용하여 동적 장면을 표현합니다. 노이즈가 있는 재구성된 멀티뷰 영상에서 학습함으로써, 실제 세계 4D 재구성에서 흔히 발생하는 아티팩트에 강건한 모델을 만들고, 학습과 추론 간 격차를 메웁니다. 장면의 콘텐츠를 유지하고 카메라 제어를 향상시키기 위해 시간적으로 지속되는 정적 포인트를 포함합니다. 이 프레임워크는 Wan 2.1 (T2V-14B) 모델의 파인튜닝 버전으로 구축되었습니다.

대상 사용자

이 도구는 기존 영상의 카메라 각도를 변경하거나, 동적 장면을 확장하거나, 4D 장면을 재구성해야 하는 컴퓨터 비전 및 영상 합성 분야의 연구자 및 개발자에게 적합합니다.

주요 특징

• 강건한 4D 가이드: 실제 세계 영상에서의 정확하지 않은 4D 재구성에도 대응 가능.
• 유연한 응용: 동적 장면 확장, 4D 장면 재구성(포인트 클라우드 편집), 메모리 기반 장시간 영상 추론을 지원.
• 인터랙티브 카메라 UI: Viser 기반 UI를 통해 타겟 카메라 경로 설계 및 포인트 클라우드 편집 가능.
• 멀티 GPU 지원: Unified Sequence Parallel (USP)를 구현하여 VRAM 사용량을 줄이고 추론 속도를 향상.