ComfyUI‑H3‑FaceRefine

무엇인가요

• ComfyUI용 커스텀 노드 모음으로, MiniMax H3 디퓨전 모델로 생성한 동영상 내 작은 얼굴을 개선합니다.
• 각 프레임에서 얼굴을 감지하고 자르며, MiniMax H3로 더 높은 품질의 버전을 재생성한 후 원본 동영상에 다시 통합합니다.

왜 중요한가요

• MiniMax H3는 머리가 단지 수십 픽셀만 차지할 경우, 720p+에서도 어려움을 겪습니다. 문제는 해상도가 아니라 입력에서 얼굴 크기가 작기 때문입니다.
• 모델에 자른 얼굴로 채워진 캔버스를 제공하면, 훨씬 더 선명하고 세부 사항이 풍부한 얼굴을 렌더링할 수 있습니다.

주요 구성 요소

노드	역할
H3 Face Track + Crop	얼굴을 감지하고 프레임 간 추적, 고정 크기 캔버스로 자르며, 자르기 결과와 추적 데이터를 출력합니다.
H3 Load Video + Face Select	동영상을 로드하고 단일 감지 프로세스를 실행하며, PySceneDetect를 통해 하드 컷을 감지하고, 각 장면에서 사용자가 대상 얼굴을 선택할 수 있게 합니다.
H3 Per‑Frame Denoise	프레임별 노이즈 제거 마스크를 적용하며, 이제 랜턴 스트림뿐 아니라 모델 스트림에서도 작동합니다.
MiniMaxH3ReferenceToVideo / H3 Inject Video Latent / H3 Face Stitch Back	개선된 얼굴을 원본 동영상에 다시 통합하며, 오디오, VAE 디코딩, 컴포지팅을 처리합니다.

최신 업데이트 (v1.1.2 및 v1.1.0)

• 더 강력한 추적 – 대상 얼굴이 사라지더라도 다른 사람으로 점프하지 않고, 누락된 프레임을 보간하고 손실을 보고합니다.
• 대상 손실 보고 – 노드의 텍스트 보고서에 얼굴이 감지되지 않은 프레임 범위가 목록으로 표시됩니다.
• 백업 검출기 이제 가장 큰 대신 가장 가까운 몸체를 사용합니다.
• 자동 선택 워크플로우 – 새 노드(H3 Load Video + Face Select)로 동영상을 로드하고, 모든 얼굴을 감지하며, 하드 컷을 감지하고, 각 장면에서 수동으로 대상을 선택할 수 있습니다.
• 컷 감지 – PySceneDetect와 옵션 통합으로 하드 컷에서 클립을 분할하여, 각 장면마다 얼굴 정체성을 리셋합니다.
• 확장된 select 옵션 – 9가지 방법으로 얼굴 선택 가능 (가장 큰, 가장 작은, 가장 왼쪽 등) 및 MiniMax H3의 길이에 연결 가능한 새 frame_count 출력 추가.
• 캔버스 기본값 – 기본 캔버스 크기 768px로 상향 조정 (MiniMax H3의 기본 짧은 변)하며, 최소값은 512px로 고정됩니다.

설치 및 종속성

1. 리포지토리를 ComfyUI/custom_nodes/에 클론하고 ComfyUI를 재시작합니다.
2. requirements.txt에서 필요한 패키지 설치 (ultralytics, scipy, insightface, scenedetect).
3. 얼굴 검출 모델 (예: models/ultralytics/bbox/ 내의 face_yolov8m.pt)을 제공해야 합니다. 옵션 모델 (애니메이션 얼굴 검출기, CLIP‑Vision, SAM, InsightFace)은 특정 기능을 강화하지만 필수는 아닙니다.
4. 예제 워크플로우 사용 시 VideoHelperSuite, Impact‑Pack, H3‑NativeAudioLock, 선택적으로 GGUF 및 SAM 등의 기타 커스텀 노드 팩이 필요합니다. README에 정확한 URL이 나와 있습니다.

사용 방법 (빠른 시작)

• 제공된 두 가지 워크플로우 템플릿 중 하나를 엽니다:
  1. 자동 선택 – 기본 랭킹 규칙(largest_face)을 사용해 얼굴을 자동으로 선택합니다.
  2. 수동 선택 – 각 장면마다 원하는 얼굴을 UI에서 선택할 수 있는 창을 엽니다.
• 소스 동영상을 제공 (VHS_LoadVideoPath 또는 H3 Load Video + Face Select를 통해).
• 원본 MiniMax H3 동영상 생성 시 사용한 참조 이미지와 프롬프트를 제공합니다.
• 그래프를 큐에 추가하면, 파이프라인이 다음을 수행합니다:
  1. 얼굴 감지 및 자르기, 캔버스로 확대.
  2. 자르기 영역에 대해 MiniMax H3 실행.
  3. (옵션) 노이즈 제거 및 개선된 얼굴을 다시 통합.
  4. 원본 오디오 유지하고 최종 동영상을 저장.

대상 사용자

• MiniMax H3를 동영상 생성에 사용하고 있으며, 낮은 세부 사항의 얼굴에 실망하는 아티스트 및 크리에이터.
• 기존 H3 워크플로우에 바로 사용 가능한 ComfyUI 솔루션을 필요로 하는 누구나.

제한 사항

• 얼굴이 신뢰할 수 있게 추적될 때 가장 잘 작동합니다; 급격한 움직임이나 자주 발생하는 가림은 보간 아티팩트를 유발할 수 있습니다.
• 노드는 외부 얼굴 검출기 의존하며, 품질은 선택한 모델(사진 vs. 애니메이션)에 따라 달라집니다.
• scenedetect가 없으면 컷 감지가 비활성화되며, 전체 클립이 하나의 장면으로 처리됩니다.

---

위 정보는 리포지토리의 README에서 직접 인용되었습니다.