Jasonzzt/ComfyUI-CacheDiT

해결하는 문제

Diffusion Transformer (DiT) 모델의 생성 시간을 단축하여 이미지 및 동영상 생성에 소요되는 시간을 줄입니다. 이러한 모델의 높은 계산 비용을 해결하며, 복잡한 설정 없이 일반적으로 1.4x에서 2.0x의 속도 향상을 제공합니다.

작동 방식

이 프로젝트는 Transformer 결과를 지능적으로 캐시하는 방식을 구현합니다. 초기 '워밍업' 단계에서 처음 몇 단계를 완전히 계산한 후, skip_interval로 정의된 특정 간격에서 각 단계마다 다시 계산하는 대신 캐시된 결과를 재사용합니다.

MiniMax H3와 같은 특정 모델의 경우, 잔차 차이를 기반으로 한 더 고급의 적응형 접근 방식을 사용하여 캐시 재사용 시점을 결정하여, 오디오-비디오 동시 생성 시 품질 유지에 기여합니다.

대상 사용자

Flux.2, WAN2.2, LTX-2, MiniMax H3 등 DiT 기반 이미지 및 동영상 생성 모델을 사용하는 ComfyUI 사용자로, 생성 시간을 단축하고자 하는 분들입니다.

주요 특징

• 매우 빠른 속도 향상: 다양한 모델에서 1.4x에서 2.0x의 가속을 달성합니다.
• 설정 없이 사용 가능: 모델을 자동 감지하고 최적의 설정을 적용하는 'Auto' 프리셋이 포함되어 있습니다.
• 광범위한 모델 호환성: Z-Image, Qwen-Image, Flux.2 Klein, MiniMax H3, LTX-2, WAN2.2 14B 등 다양한 모델에서 검증되었습니다.
• 동적 제어 가능: 잔차 임계값과 워밍업 스텝 등의 고급 노드를 통해 특정 워크플로우에 맞게 캐시 동작을 세밀하게 조정할 수 있습니다.