PozzettiAndrea/ComfyUI-DepthAnythingV3

해결하는 문제

이 프로젝트는 Depth Anything V3 모델을 ComfyUI에 통합하여 이미지 및 동영상에서 공간적으로 일관된 깊이 맵을 생성할 수 있도록 합니다. 시각 입력에서 시공간 정보와 기하학을 복원하는 문제를 해결하며, ControlNet 워크플로우에 사용할 수 있는 2D 깊이 맵 생성과 3D 재구성 도구를 제공합니다.

작동 방식

Depth Anything V3 모델의 다양한 변형(소형에서 거대형까지)과 연동하는 커스텀 노드 세트를 제공합니다. 선택한 모델에 따라 단안 깊이 추정, 메트릭 깊이 추정, 다중 뷰 어텐션을 활용하여 동영상 프레임 간 깊이 일관성을 보장합니다. 또한 V2-Style과 같은 특수 정규화 모드와 깊이 맵을 3D 포인트 클라우드 또는 메시로 변환하는 도구도 포함되어 있습니다.

대상 사용자

• AI 아티스트 및 디자이너: ControlNet 워크플로우에 고품질 깊이 맵이 필요한 ComfyUI 사용자.
• 3D 개발자: 단일 또는 다중 이미지에서 3D 포인트 클라우드 또는 메시를 재구성하고자 하는 사용자.
• 영상 제작자: 동영상 프레임 간에 부드럽고 일관된 깊이 추정이 필요한 사용자.

주요 기능

• 다양한 모델 변형: 경량 DA3-Small(80M)부터 고정밀 DA3-Nested-Giant-Large(1.4B)까지 광범위한 모델 지원.
• 3D 재구성: 시각 입력에서 3D 포인트 클라우드 및 메시 생성 가능.
• 다중 뷰 일관성: 크로스 어텐션 기능을 사용해 동영상 프레임 간 깊이 일관성 유지.
• 특수 출력: 3D 재구성에서 배경 노이즈를 필터링하기 위한 하늘 세그멘테이션 마스크 제공.
• 유연한 정규화: 2D 이미지 생성 또는 3D 공간 복원에 적합한 다양한 정규화 모드 제공.