prs-eth/Marigold

해결하는 문제

Marigold은 단일 이미지(단안 분석)에서 고해상도 이미지 특성을 추출하는 방법을 제공합니다. 새로운 작업마다 고가의 전용 센서나 거대한 실제 세계 데이터셋을 필요로 하지 않고도 깊이, 표면 법선, 그리고 내재 이미지 특성(알베도 및 조명 등)을 정확하게 추정하는 문제를 해결합니다.

작동 방식

Marigold은 사전 학습된 잠재 확산 모델(특히 Stable Diffusion)을 재사용하여 밀도 높은 이미지 분석에 적합하게 조정합니다. 새로운 이미지를 생성하는 대신, 미세 조정 프로토콜과 작은 합성 데이터셋을 사용하여 생성 모델 내부에 이미 저장된 풍부한 시각 지식을 활용합니다. 이를 통해 제로샷 일반화가 가능해져, 본 적 없는 이미지도 정확하게 분석할 수 있습니다.

대상 사용자

이 도구는 3D 장면 재구성, 이미지 분석, 그래픽스 작업 중인 컴퓨터 비전 연구자 및 개발자, 그리고 표준 2D 이미지에서 고품질의 깊이 맵과 법선 맵이 필요한 사람들에게 적합합니다.

주요 특징

• 다중 모달 분석: 단안 깊이 추정, 표면 법선 예측, 내재 이미지 분해(외관 및 조명)를 지원합니다.
• Hugging Face 통합: diffusers 라이브러리에 파이프라인이 통합되어 쉽게 접근 가능합니다.
• 효율적인 학습: 작은 합성 데이터셋을 사용해 단일 GPU에서 며칠 내에 학습이 가능합니다.
• 제로샷 일반화: 추가 학습 없이도 미리 보지 않은 데이터에 대해 최첨단 성능을 보입니다.