LBH-123-AI/Comfyui_Minimax_h3_latent_Upscaler

해결하는 문제

이 프로젝트는 Minimax H3 모델의 비디오 레이턴트를 디코딩하여 픽셀로 변환하고, 이를 확대한 후 다시 레이턴트로 인코딩하는 느리고 계산 비용이 큰 과정 없이 확대할 수 있는 방법을 제공합니다. 레이턴트 공간에서 직접 확대를 수행함으로써 고해상도 비디오 생성 속도를 크게 향상시키고, 기본 보간법으로 인해 발생하는 가시성 오류(예: 그림자 또는 중복 이미지)를 피할 수 있습니다.

작동 방식

이 프로젝트는 훈련된 신경망을 사용하여 24채널 Minimax H3 VAE 레이턴트를 확대하는 사용자 정의 ComfyUI 노드를 도입합니다. 주로 두 가지 신경망 확대기 유형을 제공합니다:

• 2D 확대기: 공간 확대를 위해 시간적 3D-Conv 레이어를 갖춘 가벼운 ResBlock 백본.
• 3D 확대기: 공간-시간 볼륨을 함께 처리하는 완전한 3D-Conv 백본으로, 더 강한 일관성을 제공하며 확대 배수, 목표 차원 또는 총 메가픽셀 기반 확대를 지원합니다.

또한 MMH3 Split Upscale 조합을 포함하고 있습니다. 이는 타일 기반의 "hires-fix" 스타일 재샘플링 확대기입니다. 사전 훈련된 네트워크가 아닌, AV 레이턴트를 시간적 청크와 공간 타일로 분할하고, 각 조각을 더 높은 해상도로 재실행하여 확대한 후, 세그먼트 노이즈 제거, 이중 수준의 색상 매칭, 시간적 앵커를 사용하여 조합합니다. 이를 통해 깜빡임과 타일 간 경계를 방지합니다.

대상 사용자

ComfyUI와 Minimax H3 비디오 생성 모델을 사용하며, 더 빠르고 시각적 품질과 시간적 안정성이 뛰어난 고해상도 비디오를 생성하고자 하는 사용자들입니다.

주요 특징

• 신경망 기반 레이턴트 확대: 단순 보간이 아닌 훈련된 네트워크를 사용하여 더 선명한 결과를 제공합니다.
• 두 가지 백본 옵션: 빠른 2D 버전과 더 높은 일관성을 가진 3D 버전 중 선택 가능합니다.
• 타일 기반 재샘플링: 고해상도 비디오를 VRAM 제약 내에서 처리할 수 있도록 최적화된 타일링 시스템(MMH3 Split Upscale)을 제공합니다.
• 고급 조합 기능: 세그먼트 노이즈 제거, 색상 매칭, 삼중 시간적 앵커 기능을 통해 가시성 오류와 타일 간 깜빡임을 제거합니다.
• 유연한 크기 지정: 확대 배수, 특정 목표 차원 또는 메가픽셀 기반 확대를 지원하며, 자동 픽셀 그리드 정렬 기능이 포함되어 있습니다.