Carasibana/ComfyUI-H3-FaceRefine

해결하는 문제

이 프로젝트는 MiniMax H3 동영상에서 작은 얼굴의 낮은 렌더링 품질 문제를 해결합니다. 머리가 프레임의 작은 부분을 차지할 경우, 출력 해상도에 관계없이 품질이 저하됩니다. 이 노드들은 얼굴을 감지하고 자르고, 개선한 후 원본 비디오에 다시 합성하는 프로세스를 자동화하여 세부 사항과 품질을 복원합니다.

작동 방식

ComfyUI 내에서 다단계 파이프라인을 사용합니다:

1. 추적 및 자르기: 각 프레임에서 얼굴을 감지하고, "끓는" 현상(진동)을 방지하기 위해 궤적을 부드럽게 처리한 후 얼굴을 캔버스에 맞게 자릅니다.
2. 잠재 주입: 이 자른 영역을 H3의 음성-비디오 동시 잠재 스트림에 인코딩하여, 원본 H3 노드에서 네이티브로 지원되지 않는 비디오에서 비디오로(img2img)의 워크플로우를 가능하게 합니다.
3. 동적 노이즈 제거: 얼굴 크기에 따라 각 프레임마다 노이즈 제거 강도를 조정합니다. 작은 얼굴은 세부 사항을 추가하기 위해 강한 합성을, 큰 얼굴은 기존 세부 사항을 보존하기 위해 부드러운 처리를 받습니다.
4. 개선: MiniMax H3 모델이 자른 얼굴 영역을 재생성합니다.
5. 합성: 정교화된 영역을 하위 픽셀 정밀도로 원본 프레임에 왜곡하여, 밝기 변화를 방지하고 색상이 일치하도록 보정한 후 원본 비디오에 부드럽게 합성합니다.

대상 사용자

ComfyUI와 MiniMax H3 비디오 모델을 사용하며, 화면에서 멀리 떨어져 있거나 작은 인물의 얼굴 세부 사항과 일관성을 개선하고자 하는 사용자들입니다.

주요 특징

• 시간적 부드러움: 자르기 중심과 크기에 대해 가우시안 또는 Savgol 평활화를 적용하여 정교화된 얼굴이 깜빡이거나 진동하지 않도록 합니다.
• 아이덴티티 추적: 특정 사람을 군중 속이나 가려짐 상황에서도 추적하기 위해 참조 이미지를 사용할 수 있습니다.
• 프레임별 노이즈 제거: 원본 비디오에서 얼굴의 실제 픽셀 크기에 따라 노이즈 제거 강도를 자동으로 조정합니다.
• 유연한 마스크: 단순한 사각형 마스크와 고정밀 SAM(세그먼테이션 애플리케이션 모델) 마스크를 모두 제공하여 자연스러운 블렌딩을 가능하게 합니다.
• 하위 픽셀 합성: 배치 처리된 grid_sample을 사용하여 정교화된 얼굴이 정확히 원래 위치에 다시 배치되도록 합니다.