xmarre/ComfyUI-Spectrum-MiniMax-H3

해결하는 문제

이 프로젝트는 MiniMax H3 오디오-비디오 모델의 샘플링 프로세스를 가속화하기 위해 설계된 Spectrum의 네이티브 ComfyUI 구현을 제공합니다. 추가 학습 없이 고비용의 트랜스포머 평가 횟수를 줄여 미디어 생성 속도를 높입니다.

작동 방식

Spectrum은 노이즈 제거기 특징을 확산 시간에 대한 함수로 간주하고, 체비셰프 다항식 기저를 사용하여 이를 근사합니다. 리지 회귀를 통해 이러한 계수를 온라인으로 피팅하여 미래의 특징 상태를 예측합니다.

일반적인 생성 워크플로우에서는 "실제" 단계(네이티브 MiniMax H3 트랜스포머가 정상적으로 실행됨)와 "예측" 단계를 번갈아 실행합니다. 예측 단계에서는 이전의 실제 앵커에서 타겟 숨겨진 상태를 예측하고 고비용의 트랜스포머 블록을 건너뜁니다. 그러나 네이티브 출력 및 샘플러 경로는 여전히 실행됩니다. 이는 근사적 가속기이므로, 출력은 네이티브 H3 실행과 약간 다를 수 있습니다.

대상 사용자

MiniMax H3 모델을 사용하여 오디오-비디오 콘텐츠를 생성하고 샘플링 시간과 컴퓨팅 비용을 줄이고자 하는 ComfyUI 사용자.

주요 특징

• 학습 없이 가속화: 모델 가중치 업데이트 없이 MiniMax H3를 가속화.
• 광범위한 샘플러 호환성: Euler, ER-SDE, SEEDS-2/3, SA-Solver PEC/PECE 등 다양한 샘플러와 호환.
• H3 생태계 통합: RefDelta Solver, ComfyUI-Untwisting-RoPE, H3 Continuum 등 H3 전용 도구와 연동 가능.
• 유연한 예측 정책: balanced 또는 max_speed와 같은 다양한 예측 정책을 제공하여 속도와 품질의 균형 조절 가능.
• 상태 조건부 잔차: SEEDS와 같은 확률적 샘플러의 경우, 노이즈 프로세스의 일관성을 유지하기 위해 트랜스포머 잔차만 예측.