Songssx/ComfyUI-MiniMaxH3-TimelineDirector

ComfyUI MiniMax H3 타임라인 디렉터

무엇인가요 – 시각 프로그래밍 UI인 ComfyUI용 커뮤니티 제작 플러그인으로, MiniMax H3 모델을 사용해 무제한 길이의 동영상 파이프라인을 구축할 수 있는 단일 고수준 노드 세트를 추가합니다. 텍스트 프롬프트, 참조 이미지, 참조 영상, 오디오 트랙 등의 클립을 타임라인에 배치하고, 목표 길이를 원하는 만큼 잠재 연속 세그먼트로 나누며, 플러그인이 자동으로 조각들을 연결합니다.

왜 중요한가요 – 디퓨전 모델로 긴 동영상을 생성하는 경우 일반적으로 수동 루프나 반복 그래프 실행이 필요하며, 이는 품질 저하, 오디오 이상, 눈에 띄는 이음새를 빠르게 유발합니다. 이 노드 모음은 다음과 같은 기능을 구현합니다:

• 유한 세그먼트 연속성 – 각 세그먼트는 이전 세그먼트의 AV 잠재 공간을 공유된 시드로 연속시키므로, 동영상 잠재 경로가 모델의 잠재 공간을 벗어나지 않습니다.
• 드리프트 제어 마스크 – 적응형 마스크가 세그먼트 경계를 넘어서도 잠재 공간을 "트랙"에 유지시켜 플리커, 흰색 번짐, 흐림을 제거합니다.
• 소프트 AV 오디오 연속성 – 원본 오디오 웨이브폼을 잠그고 재주입함으로써 리프싱크와 사운드트랙은 변경되지 않지만 모델은 여전히 움직임을 구동합니다.
• 이중 단계 SelfLift 샘플링 – 각 세그먼트마다 실행되는 프로그레시브 해상도 샘플러(약 75% 저해상도, 25% 고해상도)로, 이후 업스케일링 시 발생하는 품질 저하를 피합니다.
• 완전한 타임라인 UI – 클립 이동/자르기/분할, 프레임에 스냅, 각 클립 모드(고정 가이드, 편집 가능한 참조, 경계 전용) 할당이 가능하며, 고해상도 생성 중에는 저해상도 미리보기 프록시(최대 480×270 @ 12 fps)를 확인할 수 있습니다.

주요 구성 요소

노드	역할
MiniMax H3 마테리얼 플래너	미디어 배치, 생성 윈도우 설정, 각 세그먼트가 수행할 작업을 설명하는 컴팩트한 "계획"을 생성하는 UI.
MiniMax H3 오미니 미디어 밴들 프롬프트 브리지	(옵션) 순서가 지정된 미디어 밴들을 외부 Prompt-Rewriter Omni 백엔드로 전송하고, 재작성된 H3 프롬프트를 수신합니다.
MiniMax H3 유한 세그먼트 샘플링	핵심 엔진 – 그래프를 세그먼트별 샘플링으로 확장하고, 드리프트 제어 마스크를 적용하며, 이중 단계 SelfLift 스케줄을 수행하고 최종 동영상/오디오를 조립합니다.
MiniMax H3 타임라인 디렉터 (호환성)	오래된 저장된 그래프의 모든 일체형 워크플로우 형식을 유지하기 위한 얇은 래퍼.

설치

# ComfyUI/custom_nodes 폴더 내에서
git clone https://github.com/Songssx/ComfyUI-MiniMaxH3-TimelineDirector.git

ComfyUI를 재시작하고 MiniMax H3로 시작하는 노드를 찾아보세요.

실행 요구 사항

• 이미 네이티브 MiniMax H3 노드(가이드를 사용하는 경우 MiniMaxH3AddGuide 포함)를 포함한 최신 ComfyUI 빌드.
• MiniMax H3 모델 파일(Ref2VA, CLIP, 비디오 VAE, 오디오 VAE)을 일반적인 ComfyUI/models/… 디렉터리에 배치.
• 고해상도 단계용 MiniMax H3 잠재 공간 업스케일러 체크포인트를 ComfyUI/models/latent_upscale_models/에 배치.
• Python 3.10+, PyTorch, torchaudio, Pillow, NumPy, PyAV, aiohttp, imageio-ffmpeg (일반적으로 ComfyUI에 함께 패키지됨).

일반 워크플로우

1. 출력 해상도(width, height)와 총 생성 길이(generation_seconds)를 설정.
2. 이미지, 비디오 클립, 오디오 파일을 플래너의 바인에 드래그 앤 드롭.
3. 타임라인에 배치하고 필요에 따라 자르기/분할하고, 모델이 채워야 할 구간에 청색 "생성 범위"를 칠합니다.
4. 각 클립 모드를 선택:
   • 고정 가이드 – 오버랩 프레임을 생성된 그대로 정확히 고정.
   • 편집 가능한 참조 – 클립을 참조로 취급하지만 주체를 고정하지 않음.
   • 경계 전용 – 첫 번째/마지막 오버랩 프레임만 고정.
5. (옵션) 멀티모달 프롬프트 리라이터를 사용하려면 오미니 프롬프트 브리지 활성화.
6. 이중 단계 샘플링을 켜고 잠재 공간 업스케일러 모델을 선택하고 고해상도 단계 수를 설정(예: 8단계 스케줄에서 2단계).
7. 그래프 실행 – 플러그인이 각 세그먼트를 생성하고 드리프트 제어를 적용하며 오디오를 블렌딩하고 단일 MP4를 출력합니다.

성능 팁 – 저자들은 1536×832, 29초 동영상이 단일 GPU에서 약 10분 내에 75% 저해상도/25% 고해상도 스케줄로 생성 가능하다고 보고했습니다. 실제 속도는 VRAM, 모델 크기, 참조 미디어의 복잡성에 따라 다릅니다.

예제 자산 – 리포지토리는 60초짜리 데모 비디오 2개(유한 세그먼트 연속성, 참조 오버랩)와 전체 기능 JSON 워크플로우(MiniMaxH3全功能合一完全体导演台工作流.json)를 포함합니다. Releases 페이지에서 다운로드하여 품질과 이음새 없는 접합을 확인하세요.

라이선스 – GPL-3.0 (LICENSE 참조).

---

이 요약은 리포지토리의 README에 기반하며, 추가 기능은 추측되지 않았습니다.