microsoft/MoGe

해결하는 문제

MoGe는 단일 오픈 도메인 이미지로부터 정확한 3D 형상을 복원하는 문제를 다룹니다. 단일 순방향 패스(forward pass)를 통해 미터 단위 포인트 맵(metric point maps), 미터 단위 깊이 맵(metric depth maps), 법선 맵(normal maps) 및 카메라 시야각(FOV)을 추정할 수 있어 여러 전문 모델의 필요성을 줄여줍니다.

작동 방식

MoGe는 딥러닝 모델(ViT-S부터 ViT-G까지 다양한 버전 포함)을 사용하여 단안 이미지를 분석하고 3D 구조를 예측합니다. 최신 버전인 MoGe-3는 미세한 형상을 개선하기 위해 자기 유도형 희소 볼륨 정제(self-guided sparse volumetric refinement)를 도입했습니다. 이 모델은 카메라 FOV를 자동으로 추정하거나 제공된 정답(ground-truth) FOV를 사용하여 정확도를 높일 수 있습니다. 유연한 해상도와 종횡비를 지원하며, FP16 정밀도를 사용하여 속도에 맞게 최적화할 수 있습니다.

대상 사용자

이 도구는 컴퓨터 비전, 3D 재구성 및 증강 현실 분야에서 작업하며 표준 2D 사진에서 정확한 미터 단위 3D 데이터를 추출해야 하는 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• 올인원 추정: 포인트 맵, 깊이 맵 및 법선 맵을 동시에 예측합니다.
• 미터 단위 스케일: 실제 미터 단위 스케일의 형상을 제공합니다(MoGe-2 및 MoGe-3에서 사용 가능).
• 고효율: 최고급 GPU(A100/RTX3090)에서 이미지당 60ms의 지연 시간을 달성합니다.
• 파노라마 지원: 360° 등장방형 파노라마 이미지를 처리하기 위한 실험적 확장 기능이 포함되어 있습니다.
• 유연한 출력: 3D 소프트웨어에서 사용할 수 있도록 결과를 .glb 또는 .ply 파일로 내보냅니다.