yehonathanlitman/Lift4D

해결하는 문제

Lift4D는 단일 시점의 '실제 환경' 영상에서 완전한 4D 자산(시간에 따라 변화하는 3D 객체)을 재구성할 수 있게 해줍니다. 객체가 움직이거나 변형될 수 있는 영상에서 시간적으로 일관된 3D 모델을 생성하는 도전 과제를 해결하며, 여러 단일 시점 추정을 하나의 통합된 변형 가능한 모델로 융합합니다.

작동 방식

이 파이프라인은 세 가지 명확한 단계로 작동합니다:

1. 세그멘테이션: 텍스트 프롬프트를 기반으로 SAM 3를 사용하여 영상에서 대상 객체를 분리합니다.
2. Causal SAM3D: 각 프레임별로 객체의 3D 재구성을 수행하며, 인과적 잠재 전파를 활용해 프레임 간 시간 일관성을 유지합니다.
3. Lift4D 학습: 개별 프레임별 재구성을 하나의 표준 형태와 학습된 변형 필드로 통합하여 일관된 4D 자산을 생성합니다.

대상 사용자

이 도구는 컴퓨터 비전, 4D 재구성, 디지털 자산 생성 분야에서 일하는 연구자 및 개발자들을 위한 것으로, 실제 영상 클립을 애니메이션 가능한 3D 모델로 변환해야 하는 사람들을 대상으로 합니다.

주요 특징

• 실제 환경 대응: 사용자 정의 영상과 텍스트 프롬프트를 사용해 객체 세그멘테이션 가능.
• 시간 일관성: 인과적 잠재 전파를 활용해 3D 재구성이 프레임 간에 안정적으로 유지됨.
• 이단계 최적화: 학습 프로세스를 기하학적 최적화와 외관 개선 단계로 분리.
• 음영 처리 지원: 장면의 깊이 정보를 사용해 부족한 부분을 보완하는 음영 합성 기능 제공.