pytraveler/MiniMax-H3-Prompt-Rewriter-ComfyUI

해결하는 문제

이 프로젝트는 짧고 간단한 프롬프트를 MiniMax-H3 비디오 생성 모델에 최적화된 구조화된 프로덕션급 오디오-비디오 설명으로 변환하는 ComfyUI 노드를 제공합니다. 고품질 MiniMax-H3 출력을 위해 필요한 복잡한 샷별 설명, 사운드스케이프, 악보를 수동으로 작성할 필요가 없습니다.

작동 방식

이 시스템은 다양한 대규모 언어 모델(LLM)과 LoRA 어댑터를 사용하여 사용자 입력을 확장합니다. 네 가지 주요 경로를 제공합니다:

• LoRA 기반 재작성기: 특수 어댑터가 포함된 Qwen 모델(27B, 8B 또는 Omni)을 사용하여 구조화된 출력을 생성합니다. 8B 및 Omni 버전은 멀티모달 모델로, 참조 이미지나 오디오 클립을 '보고' '듣고' 재작성에 반영할 수 있습니다.
• 라이터 노드: MiniMax의 자체 작성 가이드를 기반으로 하는 시스템 프롬프트의 안내를 받는 모든 지시 이행형 GGUF 모델을 사용하여, 저사양 하드웨어를 위한 경량화된 대안을 제공합니다.
• 참조 캡셔닝: 이미지, 오디오 또는 비디오를 라이터 노드가 사용할 수 있는 텍스트 설명으로 변환합니다.
• 프롬프트 프리셋: 즉시 사용할 수 있는 1,000개의 MiniMax-H3 프롬프트 라이브러리.

대상 사용자

• MiniMax-H3로 비디오를 생성하는 ComfyUI 사용자.
• 수동 작성 없이 고품질의 구조화된 비디오 프롬프트를 원하는 크리에이터.
• 8GB VRAM(라이터 노드 사용)부터 16GB+ VRAM(27B LoRA 사용)까지 다양한 하드웨어 사양을 가진 사용자.

주요 특징

• 멀티모달 입력: 텍스트-비디오(T2VA), 이미지-비디오(I2VA), 첫/마지막 프레임-비디오(FL2VA), 참조-비디오(Ref2VA) 지원.
• 로컬 실행: 모든 프롬프트 재작성이 완전히 로컬에서 수행됩니다.
• 유연한 모델 옵션: 다양한 VRAM 예산에 맞게 여러 모델 크기(27B, 8B, Omni) 및 양자화 형식(nf4, int8, GGUF)을 지원합니다.
• 통합 워크플로우: 사용자가 다양한 프롬프트 생성 전략을 빠르게 시작할 수 있도록 7개의 예제 워크플로우가 포함되어 있습니다.