chengzeyi/Comfy-WaveSpeed

해결하는 문제

Comfy-WaveSpeed는 ComfyUI를 위한 추론 최적화 솔루션으로, FLUX, SD3.5, HunyuanVideo와 같은 고해상도 또는 복잡한 대규모 확산 모델을 사용하여 이미지 및 동영상을 생성하는 데 필요한 시간과 계산 비용을 줄입니다. 로컬 추론 속도가 느린 문제를 해결합니다.

작동 방식

이 프로젝트는 두 가지 주요 최적화 기술을 구현합니다:

1. 첫 번째 블록 캐시 (FBCache): 이 동적 캐싱 알고리즘은 첫 번째 트랜스포머 블록의 잔차 출력을 지표로 사용합니다. 현재 잔차 출력과 이전 잔차 출력 간의 차이가 충분히 작으면, 시스템은 이전의 최종 잔차 출력을 재사용하고 이후 모든 트랜스포머 블록의 계산을 건너뜁니다. 이로 인해 추론 속도가 최대 3.0배까지 향상될 수 있습니다.
2. 강화된 torch.compile: 표준 PyTorch 컴파일 프로세스의 개선된 버전으로, 모델의 실행 그래프를 최적화합니다. 원래의 TorchCompileModel 노드와 달리, 이 버전은 LoRA와 호환됩니다.

대상 사용자

자신의 GPU에서 로컬로 확산 모델을 실행하고, 이미지나 동영상 생성 속도를 높이되 품질 손실을 최소화하고 싶은 ComfyUI 사용자.

주요 특징

• 광범위한 모델 지원: FLUX, LTXV, HunyuanVideo, SD3.5, SDXL과 호환.
• 매우 빠른 속도 향상: FBCache는 높은 정확도를 유지하면서 최대 2배의 속도 향상을 달성.
• LoRA 호환성: 강화된 컴파일 노드는 LoRA 모델 사용을 지원.
• 유연한 설정: 사용자는 residual_diff_threashold를 조정하여 특정 모델에 따라 속도와 품질의 균형을 조절할 수 있습니다.