apple-aiml-research/ml-sharp

해결하는 문제

SHARP는 단일 이미지에서 사실적인 뷰 합성을 가능하게 합니다. 일반적으로 3D 재구성과 관련된 긴 처리 시간을 피하면서도, 고해상도이고 3D 일관성을 갖춘 장면의 뷰를 한 장의 사진으로 빠르고 정확하게 생성하는 문제를 해결합니다.

작동 방식

이 시스템은 신경망을 사용하여 장면의 3D 가우시안 표현(3D 가우시안 스플래터링)의 파라미터를 회귀하는 단일 피드포워드 패스를 수행합니다. 이 과정은 표준 GPU에서 1초 미만으로 완료됩니다. 생성된 3D 표현은 메트릭(절대 스케일)을 가지며, 실시간으로 렌더링되어 근접한 시점에서 이미지를 생성할 수 있습니다.

대상 사용자

이 도구는 컴퓨터 비전, 3D 장면 재구성, 사실적인 렌더링 분야에서 연구 및 개발을 하는 연구자와 개발자들을 위한 것으로, 단일 이미지 기반 뷰 합성에서 빠르고 제로샷 일반화가 필요한 사용자에게 적합합니다.

주요 특징

• 극도의 속도: 단일 피드포워드 패스를 통해 1초 미만으로 3D 표현을 생성.
• 고정밀도: 이전 최고 수준 모델과 비교해 LPIPS 및 DISTS 오차를 크게 감소.
• 메트릭 스케일: 정확한 메트릭 카메라 이동을 위한 절대 스케일 지원.
• 광범위한 호환성: 다양한 공개 3D 가우시안 스플래터링 렌더러와 호환되는 .ply 파일 생성.