OpenImagingLab/AnyRecon

해결하는 문제

AnyRecon은 임의의 시점에서의 3D 재구성 문제를 해결합니다. 사용자는 촬영된 시점의 집합에서 고품질의 3D 재구성을 생성할 수 있으며, 원하는 카메라 경로를 따라 장면을 보여주는 영상을 제작할 수 있습니다.

작동 방식

이 시스템은 동영상 확산 모델(Wan2.1 I2V)과 LoRA 가중치를 결합하여 3D 장면을 정교하게 보정하고 재구성합니다. 촬영된 시점에서 조건 영상을 생성하기 위해 점군 렌더링 파이프라인(π³)을 사용합니다. 이러한 조건 영상과 추정된 또는 사용자가 지정한 카메라 자세가 동영상 확산 모델을 안내하여 다양한 시점에서 일관된 3D 재구성을 생성합니다.

대상 사용자

이 프로젝트는 3D 컴퓨터 비전, 신경 렌더링, 생성형 AI 분야에서 연구 및 개발을 수행하는 연구자 및 개발자들을 위한 것입니다. 특히 동영상 확산 모델을 3D 장면 재구성에 통합하고자 하는 분들에게 적합합니다.

주요 특징

• 임의의 시점 재구성: 어떤 각도에서든 볼 수 있는 3D 장면을 생성합니다.
• 동영상 확산 모델 통합: 고해상도 시각 합성에 사전 학습된 Wan2.1 I2V 모델을 활용합니다.
• 사용자 정의 경로 지원: 테스트 뷰 이미지에서 자세 추정과 수동으로 지정한 카메라 경로를 모두 지원합니다.
• 점군 기반 안내: π³를 사용하여 초기 점군 렌더링을 수행하여 확산 과정에 구조적 안내를 제공합니다.