ant-research/4DAnyone

해결하는 문제

4DAnyone은 단일한 일상적인 단안 동영상을 기반으로 사람의 일관된 다중 시점 동영상을 생성하여, 후속 단계인 4D 가우시안 스플래팅(4DGS) 재구성에 필수적인 데이터를 제공합니다. 이는 2D 동영상을 기반으로 동적인 3D 장면을 생성할 수 있게 해줍니다.

작동 방식

이 시스템은 단일 인물의 동영상을 입력으로 받아, 다양한 카메라 각도(대상 시점)에서 동기화된 여러 동영상을 생성합니다. 입력 카메라 파라미터나 정지된 카메라가 필요하지 않습니다. 사용자는 360도 오비트 또는 특정 전면 아크와 같은 유연한 카메라 배치를 설정할 수 있으며, 여러 피치 레이어를 통해 피사체를 포괄적으로 촬영할 수 있습니다.

대상 사용자

4D 재구성, 컴퓨터 비전, 디지털 인간 생성 분야에서 연구 및 개발을 수행하는 연구자 및 개발자에게 적합합니다. 단일 시점 소스에서 고품질 다중 시점 데이터가 필요한 사용자에게 이상적입니다.

주요 특징

• 유연한 시점 생성: 카메라 배치와 피치 레이어를 사용자 정의 가능한 수십 개의 출력 시점을 지원합니다.
• 두 가지 모델 옵션: 표준 Base 모델과 노이즈 제거 속도가 크게 향상된 Distilled Turbo 모델을 제공합니다.
• 소비자용 GPU 지원: 24GB 미만의 VRAM(예: RTX 4090)을 가진 GPU에서도 최적화되어 동작합니다.
• 인터랙티브 GUI: Rerun을 사용한 인터랙티브 추론 및 시각화를 지원하는 Gradio 기반 인터페이스를 포함합니다.