ant-research/4DAnyone

해결하는 문제

4DAnyone은 사람의 단일한 일상적인 단안 영상(모노클러럴 영상)을 여러 시점의 영상으로 변환합니다. 이는 4D(3D + 시간) 인간 재구성에 고가의 다중 카메라 레인지가 필요하지 않도록 하여, 간단한 포트레이트 영상에서 밀도 높은 타겟 시점 영상을 생성할 수 있게 해줍니다.

작동 방식

이 시스템은 사람의 포트레이트 영상(720p 이상)을 입력으로 받아, 다양한 카메라 구성에서 사람의 여러 합성 시점을 생성합니다. 사용자는 각 레이어당 뷰 수, 다양한 높이 수준의 피치 각도, 수평 방향의 요 각 범위를 지정하여 사용자 정의 카메라 레인지를 만들 수 있습니다. 출력물로는 생성된 타겟 뷰 영상과 카메라 메타데이터가 포함되며, 이는 후속 4D 가우시안 스플래터링(4DGS) 재구성에 입력으로 사용할 수 있습니다.

대상 사용자

이 도구는 4D 인간 재구성, 컴퓨터 비전, 디지털 인간 생성 분야에서 일하는 연구자 및 개발자, 그리고 합성 다중 시점 데이터를 4DGS 파이프라인과 통합하고자 하는 분들을 대상으로 합니다.

주요 특징

• 유연한 카메라 레이아웃: 단순한 6뷰 오비트에서부터 3개의 피치 레이어에 걸쳐 밀도 높은 48뷰 레이아웃까지 다양한 구성 지원.
• 4DGS 통합: Nerfstudio용 데이터 내보내기 스크립트와 전경만을 위한 3D 가우시안 스플래터링 모델 학습용 스크립트 제공.
• 사용자 정의 가능한 시점: 뷰 수, 피치, 요 커버리지에 대한 정밀 제어 가능.
• 자동 워크플로우: 최초 사용 시 필요한 모델과 예제를 자동으로 다운로드.