AIMixer/ComfyUI_MiniMaxH3_Director

해결하는 문제

이 프로젝트는 ComfyUI 내 MiniMax H3 비디오 생성 모델을 위한 종합적인 '디렉터 콘솔'을 제공합니다. 다중 세그먼트 계획, 조건부 인코딩, 샘플링, 내보내기를 하나의 노드에 통합함으로써, 복잡한 비디오 시퀀스를 만들기 위해 수많은 개별 노드를 수동으로 연결할 필요 없이 긴 형식의 비디오 제작을 간소화합니다.

작동 방식

이 플러그인은 공식 MiniMax H3 구현을 확장하여 고수준 관리 레이어를 추가합니다. 사용자는 시각적 타임라인을 사용하여 비디오 세그먼트의 순서를 정의할 수 있습니다. 선택한 작업 유형(Text-to-Video, Image-to-Video, First-and-Last-Frame-to-Video, Reference-to-Video, Video-to-Video, 또는 Reference Video-to-Video)에 따라 노드는 하위 샘플링 및 디코딩 프로세스를 처리합니다.

주요 기술적 메커니즘:

• 세그먼트 간 가이드: 이전 세그먼트의 끝부분의 움직임과 오디오를 다음 세그먼트의 시작 부분에 고정하여 부드러운 전환을 보장합니다.
• 리파인/업스케일링 파이프라인: 별도의 리파인 노드를 연결하여 더 높은 품질을 위한 2단계 샘플링 또는 잠재 공간 또는 픽셀 기반 방법을 사용한 비디오 업스케일링을 수행할 수 있습니다.
• 참조 그룹: 여러 세그먼트 간에 공유되는 전역 참조 이미지, 오디오, 프롬프트를 정의할 수 있으며, 동시에 각 세그먼트별 오버라이드도 가능합니다.

대상 사용자

MiniMax H3 모델을 사용하여 구조화된 내러티브나 일관된 캐릭터 및 오디오를 가진 복잡한 장면을 생성하고자 하는 ComfyUI 사용자 및 AI 비디오 제작자에게 적합합니다.

주요 기능

• 통합 타임라인: 썸네일 미리보기 기능을 갖춘 시각적 타임라인으로 여러 비디오 세그먼트를 자르고 분할하고 관리할 수 있습니다.
• 다양한 작업 모드: t2v, i2v, fl2v(첫 번째/마지막 프레임), r2v(참조 대상), v2v(비디오에서 비디오), rv2v(참조 비디오에서 비디오)를 지원합니다.
• 네이티브 스테레오 오디오: 비디오 프레임과 동기화된 스테레오 오디오를 생성합니다.
• 고급 리파인: 다단계 리파인 및 업스케일링 지원(NVIDIA RTX VSR 및 H3 잠재 공간 업스케일링 포함).
• 외부 그룹 통합: 제3자 노드가 특수 그룹 노드를 통해 처리된 이미지나 프롬프트를 디렉터 콘솔에 공급할 수 있도록 합니다.