RWTHVision/diffusion-e2e-ft

해결하는 문제

이 프로젝트는 깊이 및 표면 법선 추정에 사용되는 확률적 확산 추정기의 비효율성과 느린 추론 속도를 해결합니다. 일반적인 확산 모델은 결과를 생성하기 위해 여러 번의 노이즈 제거 단계를 필요로 하지만, 이 접근법은 계산 시간을 크게 줄이면서도 정확도를 유지하거나 향상시키는 단일 스텝 결정론적 모델을 생성할 수 있게 합니다.

작동 방식

이 프로젝트는 이미지 조건부 확산 모델에 대한 엔드투엔드(E2E) 미세조정을 구현합니다. 사전 학습된 확산 추정기(Marigold 또는 GeoWizard 등) 또는 일반 목적 모델인 Stable Diffusion를 시작점으로 하여 작업에 특화된 손실을 적용함으로써 모델을 결정론적 추정기로 변환합니다. 미세조정된 이 모델들은 확산 모델이 일반적으로 요구하는 반복적 샘플링 과정을 회피하고, 0노이즈를 사용하여 단일 추론 스텝으로 깊이 맵 또는 표면 법선을 생성할 수 있습니다.

대상 사용자

단일 RGB 이미지에서 고속이고 고품질의 깊이 및 표면 법선 추정이 필요한 3D 장면 이해에 종사하는 컴퓨터 비전 연구자 및 개발자에게 적합합니다.

주요 특징

• 단일 스텝 추론: NVIDIA RTX 4090에서 이미지당 최소 121ms까지 추론 시간 단축 가능.
• 결정론적 출력: 확산 샘플링의 확률적 성격을 제거하여 보다 일관된 결과 제공.
• 다양한 기반 모델: Stable Diffusion, Marigold, GeoWizard에서의 미세조정 지원.
• 다중 모달리티: 깊이 추정 및 표면 법선 추정을 위한 전용 체크포인트 제공.