nv-tlabs/lyra

What it solves

Project Lyra는 제한된 시각적 입력으로부터 3D 및 4D 장면을 생성하는 방법을 제공합니다. 단일 이미지 또는 비디오에서 일관성 있고 탐색 가능한 3D 월드를 구축하는 과제를 해결하며, 2D 생성형 AI에서 공간적으로 일관된 3D 환경으로의 전환을를 가능하게 합니다.

How it works

이 프로젝트는 두 가지 주요 버전으로 구성됩니다:

• Lyra 1.0: 비디오 확산 모델 자기 증류(self-distillation)를 사용하여 단일 이미지 또는 비디오로부터 피드포워드 방식의 3D 및 4D 장면 생성을 가능하게 합니다.
• Lyra 2.0: 장기적인 3D 일관성 생성을 통해 탐색 가능한 생성형 3D 월드를 구축하는 데 중점을 둡니다.

Who it’s for

이 기술은 3D 장면 재구성, 생성형 AI 및 가상 환경 구축 분야에서 연구원과 개발자를 위해 설계되었습니다.

Highlights

• 3D/4D Generation: 단일 이미지 또는 비디오에서 3D 장면 및 4D (time-varying) 장면을 생성할 수 있습니다.

• 3D Consistency: Lyra 2.0는 특히 장기적인 일관성을 목표로 하여, 탐색 중에도 월드가 안정적으로 유지되도록 합니다.

• 3D Consistency: Lyra 2.0는 특히 장기적인 일관성을 목표로 하여, 탐색 중

• Open Implementation: Lyra 2.0를 위한 공식 구현체, 학습 코드를 제공합니다.