ComfyUI에서 MiniMax H3 지원

ComfyUI는 통합 스테레오 오디오와 함께 최대 2K 해상도의 고해상도 비디오를 생성하는 오픈 웨이트 옴니모달 비디오 모델인 MiniMax H3에 대해 출시 당일 지원을 구현했습니다. 상당한 머신러닝 최적화를 통해 RTX 3060을 포함한 소비자급 GPU에서도 모델을 사용할 수 있습니다.

MiniMax H3의 핵심 기능

MiniMax H3는 여러 생성 작업을 단일 옴니모달 프레임워크로 통합한 3세대 비디오 모델입니다. 텍스트, 이미지, 비디오, 오디오 입력을 처리하여 최대 15초 길이의 클립을 생성할 수 있습니다.

멀티모달 컨텍스트 이해

이 모델의 주요 강점은 서로 다른 입력 모달리티 간의 관계를 해결하는 능력입니다. 사용자는 이미지, 오디오, 비디오의 조합과 함께 이러한 요소들이 어떻게 연관되는지를 설명하는 프롬프트를 제공할 수 있으며, 모델은 교차 모달 합성을 자동으로 처리합니다.

네이티브 스테레오 오디오

오디오를 후처리로 추가하는 많은 비디오 모델과 달리, MiniMax H3는 비디오 생성과 동일한 패스 내에서 스테레오 오디오를 네이티브하게 생성합니다. 이는 사운드가 덮어씌워진 레이어가 아니라 생성된 장면의 근본적인 속성이 되도록 보장합니다.

생성 모드

Text-to-Video: 텍스트 프롬프트만을 기반으로 비디오를 생성합니다.
Image-to-Video: 정적인 이미지를 비디오 클립으로 애니메이션화합니다.
First-and-Last-Frame: 사용자가 시작 프레임과 종료 프레임을 정의할 수 있게 하며, 모델은 그 사이의 움직임을 보간합니다.
Reference-to-Video: 참조 이미지, 비디오 또는 오디오를 사용하여 클립 전체에서 피사체, 움직임 또는 목소리의 일관성을 유지합니다. 이는 특히 참조 비디오가 카메라 움직임이나 퍼포먼스를 제공하고 피사체와 스타일은 별도로 정의되는 모션 트랜스퍼(motion transfer)에 매우 유용합니다.

ComfyUI의 로컬 추론 최적화

MiniMax H3를 소비자용 하드웨어에서 실행할 수 있도록 하기 위해, ComfyUI는 모델의 막대한 메모리 요구 사항을 줄이기 위해 여러 엔지니어링 최적화를 적용했습니다.

가중치 프루닝 및 룩업 테이블

엔지니어들은 모델의 전체 파라미터 중 약 40%—특히 변조 가중치(modulation weights)—가 프루닝(pruning)될 수 있으며 기능적으로 동일한 룩업 테이블로 대체될 수 있음을 발견했습니다. 이러한 가중치 감소는 출력 품질의 저하 없이 달성되었습니다.

양자화 및 VRAM 관리

ComfyUI는 피크 VRAM 사용량을 낮추기 위해 int8 convrot 양자화와 커스텀 커널을 활용합니다. 동적 VRAM 오프로딩과 결합될 때, 이러한 최적화는 전체 메모리 사용량을 123.6 GB에서 가장 작은 모델 변형의 경우 42.5 GB로 66% 감소시켰습니다.

커뮤니티 인사이트 및 성능

초기 사용자 및 커뮤니티 구성원들은 이전의 SOTA(state-of-the-art) 모델들과 비교하여 품질 면에서 상당한 도약을 이루었다고 언급했지만, 몇 가지 제한 사항이 남아 있습니다.

하드웨어 성능

사용자 보고에 따르면 하드웨어에 따라 생성 시간이 달라집니다:

"Im running this on my 4070ti super (16 gb vram), and it takes 10 minutes for a 10-seconds 480p video. but the results are spectacular."

다른 사용자들은 10초 길이의 0.5 메가픽셀 비디오를 몇 분 만에 생성할 수 있다고 보고했으며, 이는 WAN과 같은 이전 모델보다 속도 면에서 개선된 결과입니다.

정성적 피드백

"Reference-to-video" 모드는 더 정밀한 영화적 연출과 장면 스태칭(stitching)을 가능하게 한다는 점에서 찬사를 받고 있지만, some users noted that "AI smoothening" 효과가 특정 클로즈업 샷(예: 음료수 캔을 따는 장면)에서 여전히 보입니다. 또한, 일부 사용자는 모델이 "weirder concepts" 또는 비표준적인 시나리오에서 어려움을 겪을 수 있으며, 이 경우 장면의 물리 법칙이나 논리가 깨질 수 있습니다.

구현 가이드

ComfyUI에서 MiniMax H3를 사용하려면 사용자는 버전 0.30.0으로 업데이트하거나 Comfy Cloud를 사용해야 합니다. 프로세스는 다음과 같습니다:

ComfyUI를 v0.30.0으로 업데이트합니다.
Comfy-Org 템플릿 라이브러리에서 특정 워크플로우(T2V, I2V, 또는 R2V)를 다운로드합니다.
Comfy-Org/MiniMax-H3 Hugging Face 저장소에서 모델 가중치를 다운로드하여 지정된 모델 디렉토리에 배치합니다.