IamCreateAI/NeoVerse

What it solves

NeoVerse는 표준 단일 카메라(단안) 비디오로부터 4D 월드 모델을 생성하는 과제를 해결합니다. 일반 비디오를 사용하여 3D 장면과 카메라 움직임을 재구성함으로써, 완전히 다른 카메라 경로(novel-trajectory video generation)를 통한 새로운 비디오 생성을 가능하게 하고 다양한 4D 재구성 작업을 지원합니다.

How it works

NeoVerse는 두 가지 주요 구성 요소를 파이프라인으로 결합합니다:

1. Reconstructor: Gaussian Splats를 사용하여 장면의 3D 구조를 복원하고 단안 비디오에서 카메라 포즈를 추정합니다. WorldMirror 기반 버전 및 Depth Anything 3를 포함한 여러 재구성기와 호환됩니다.
2. Video Diffusion Model: 4-step distilled LoRA로 가속화된 WAN 2.1 백본을 사용하여, 재구성된 3D 장면과 목표 카메라 경로를 조건으로 고품질 비디오 프레임을 생성합니다.

사용자는 사전 정의된 동작(panning, tilting 또는 orbiting 등)을 사용하거나 정밀한 키프레임 제어를 위해 커스텀 JSON 파일을 사용하여 경로를 정의할 수 있습니다. 또한 정적 장면(단일 이미지) 또는 움직이는 물체가 있는 일반적인 장면도 처리할 수 있습니다.

Who it’s for

이 도구는 단일 비디오에서 장면의 새로운 시점(novel views)을 합성하거나, 흔들리는 영상을 안정화하거나, 단일 뷰 비디오를 멀티뷰 시퀀스로 확장해야 하는 컴퓨터 비전 및 비디오 생성 분야의 연구자와 개발자를 위해 설계되었습니다.

Highlights

• Novel Trajectory Generation: 기존 장면에 대해 새로운 카메라 경로(예: orbit, push-in, boom-up)를 생성합니다.
• Fast Inference: distilled LoRA를 사용하여 단일 A800 GPU에서 30초 이내에 파이프라인을 완료합니다.
• Plug-and-Play Reconstructors: 장면 기하학을 추정하기 위한 다양한 3D 재구성기를 지원합니다.
• Flexible Control: 간단한 사전 정의된 카메라 동작과 복잡한 키프레임 수준의 JSON 경로 제어를 모두 제공합니다.
• Downstream Applications: 카메라 안정화, 비디오 편집 및 단일-멀티뷰 확장을 위한 도구를 포함합니다.