nikopueringer/CorridorKey2.0

해결하는 문제

CorridorKey 2.0은 비디오 영상에서 전경 피사체를 배경으로부터 자동으로 분리하여 알파 매트(흑백 마스크)와 전경 색상을 생성합니다. 이는 시각 효과 및 모션 그래픽 분야에서 지루한 수작업이지만, 이 모델은 이를 가속화하고 힌트를 따라 올바른 피사체를 선택할 수 있습니다.

작동 방식

비디오(또는 프레임 폴더)를 입력합니다. 모델은 GPU에서 실행되며 모든 프레임에 대해 알파 매트를 예측합니다. 선택적으로 힌트(첫 번째 프레임 매트, 전체 힌트 비디오 또는 없음)를 제공할 수 있습니다. 힌트는 모델에게 어떤 객체를 유지할지 알려줍니다. 내부적으로는 3개의 고정된 파운데이션 모델(NVIDIA, Microsoft, Google DeepMind 제공)과 자체 학습된 가중치를 사용합니다. 클립을 겹치는 시간 창(Hann windows)에서 처리하여 프레임 간 결과의 일관성을 유지합니다. 매트, 전경 및 기타 검토 형식을 출력할 수 있습니다. 또한 클리핑되지 않은 값을 가진 OpenEXR 시퀀스를 출력하여 HDR을 처리합니다.

대상 사용자

합성을 위해 깔끔한 컷아웃이나 매트가 필요한 비디오 편집자, VFX 아티스트, 모션 디자이너. 사용자 지정 Python 도구를 구축하려는 개발자에게도 열려 있습니다. 공식 플러그인(유료)은 많은 미디어 앱과 통합되지만, 이 repo는 상업적 또는 개인적 용도로 무료로 사용할 수 있습니다.

주요 특징

• 3가지 추론 모드: 힌트 없음, 첫 번째 프레임 힌트, 전체 힌트 비디오.
• 자동 메모리 관리; 최소 4 GB VRAM의 GPU에서 작동(1440p 기준).
• 클리핑되지 않은 장면 선형 RGB를 갖춘 OpenEXR을 통한 HDR 출력 지원.
• 출력에는 매트, 전경, 체커보드 합성, 스트레이트 컷아웃이 포함됨.
• 전체 비디오를 RAM에 로드하지 않고도 긴 클립을 처리할 수 있음.
• Windows 및 Linux용 드래그 앤 드롭 런처 포함.
• 오류 발생 시 명확한 메시지 표시: 파일 누락이나 지원되지 않는 입력 시 명확한 오류 발생.