xmarre/ComfyUI-Spectrum-MiniMax-H3

해결하는 문제

이 프로젝트는 ComfyUI 내에서 MiniMax H3 오디오-비디오 모델을 위한 훈련 없는 가속 방법을 제공합니다. 샘플링 과정에서 필요한 값비싼 transformer 평가 횟수를 줄여 추가 훈련 없이 비디오 및 오디오 생성을 빠르게 합니다.

작동 방식

Spectrum 방법을 기반으로, 이 도구는 디노이저 특징을 확산 시간의 함수로 취급하고 Chebyshev 다항식 기저를 사용하여 근사합니다. 릿지 회귀를 통해 이러한 계수를 온라인으로 피팅하여 미래 특징 상태를 예측합니다.

"실제 단계"에서는 네이티브 MiniMax H3 모델이 정상적으로 실행되고 대상 숨은 상태를 캡처합니다. "예측 단계"에서는 이 도구가 이전 앵커에서 이 숨은 상태를 예측하고 transformer 블록을 완전히 건너뛰지만, 네이티브 출력 및 재구성 경로는 계속 실행합니다. SEEDS와 같은 확률적 샘플러의 경우 transformer 잔차만 예측하고 정확한 현재 상태 임베딩에 추가하여 안정성을 유지합니다.

대상 사용자

ComfyUI에서 MiniMax H3 모델을 사용하여 오디오-비디오 콘텐츠를 생성하고 허용 가능한 품질을 유지하면서 생성 시간을 줄이려는 사용자.

주요 특징

• 훈련 없는 가속: 재훈련 없이 transformer 평가를 건너뛰어 샘플링을 가속화합니다.
• 광범위한 샘플러 지원: Euler, ER-SDE, SEEDS-2/3, SA-Solver PECE를 포함한 다양한 샘플러와 호환됩니다.
• 다른 도구와 통합: ComfyUI-Untwisting-RoPE, Diff-Aid, RefDelta Solver와 함께 작동합니다.
• 근사 가속: 속도와 품질 사이의 유연한 균형을 제공하며, PECE 예측에는 balanced 또는 max_speed와 같은 특정 정책이 있습니다.
• H3 특화 최적화: MiniMax H3의 패킹된 오디오-비디오 표현을 특별히 처리합니다.