chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] The all in one inference optimization solution for ComfyUI, universal, flexible, and fast.

해결하는 문제

Comfy-WaveSpeed는 ComfyUI를 위한 추론 최적화 솔루션으로, FLUX, SD3.5, HunyuanVideo와 같은 고해상도 또는 복잡한 대규모 확산 모델을 사용하여 이미지 및 동영상을 생성하는 데 필요한 시간과 계산 비용을 줄입니다. 로컬 추론 속도가 느린 문제를 해결합니다.

작동 방식

이 프로젝트는 두 가지 주요 최적화 기술을 구현합니다:

  1. 첫 번째 블록 캐시 (FBCache): 이 동적 캐싱 알고리즘은 첫 번째 트랜스포머 블록의 잔차 출력을 지표로 사용합니다. 현재 잔차 출력과 이전 잔차 출력 간의 차이가 충분히 작으면, 시스템은 이전의 최종 잔차 출력을 재사용하고 이후 모든 트랜스포머 블록의 계산을 건너뜁니다. 이로 인해 추론 속도가 최대 3.0배까지 향상될 수 있습니다.
  2. 강화된 torch.compile: 표준 PyTorch 컴파일 프로세스의 개선된 버전으로, 모델의 실행 그래프를 최적화합니다. 원래의 TorchCompileModel 노드와 달리, 이 버전은 LoRA와 호환됩니다.

대상 사용자

자신의 GPU에서 로컬로 확산 모델을 실행하고, 이미지나 동영상 생성 속도를 높이되 품질 손실을 최소화하고 싶은 ComfyUI 사용자.

주요 특징

  • 광범위한 모델 지원: FLUX, LTXV, HunyuanVideo, SD3.5, SDXL과 호환.
  • 매우 빠른 속도 향상: FBCache는 높은 정확도를 유지하면서 최대 2배의 속도 향상을 달성.
  • LoRA 호환성: 강화된 컴파일 노드는 LoRA 모델 사용을 지원.
  • 유연한 설정: 사용자는 residual_diff_threashold를 조정하여 특정 모델에 따라 속도와 품질의 균형을 조절할 수 있습니다.

관련

  • 프로젝트
    Jasonzzt/ComfyUI-CacheDiT

    지능적 캐싱을 통해 Diffusion Transformer (DiT) 모델을 가속화하는 ComfyUI 확장 기능으로, 이미지 및 동영상 생성 시 1.4x에서 2.0x의 속도 향상을 제공합니다.

  • 프로젝트
    hao-ai-lab/FastVideo

    FastVideo는 비디오 확산 모델의 훈련, 미세 조정, 실시간 추론을 위한 오픈소스 프레임워크입니다. 스파스 어텐션 기반 교체, 확장 가능한 멀티 GPU 훈련, 그리고 다양한 플랫폼 지원(NVIDIA GPU, Apple Silicon(MXL을 통한), ARM DGX Spark)을 제공합니다. CLI, Python API, 실시간 비디오 편집 앱인 Dreamverse를 포함하고 있습니다. `uv`를 통해 설치하고 몇 줄의 파이썬 코드로 비디오 생성을 시작할 수 있습니다.

  • 프로젝트
    vipshop/cache-dit

    Cache‑DiT는 하이브리드 캐싱, 다양한 병렬 처리 전략, 양자화, CPU 오프로드를 통해 확산 트랜스포머(DiT) 모델을 가속화하는 PyTorch 네이티브 추론 엔진입니다. Hugging Face Diffusers를 기반으로 구축되었으며 40개 이상의 모델 제품군(이미지, 비디오, 오디오, 3D)을 지원하고 SGLang, vLLM‑Omni, TensorRT‑LLM, ComfyUI와 같은 도구와 통합됩니다. 이 패키지는 최대 9배의 속도 향상을 제공하며 NVIDIA, AMD 및 Ascend 하드웨어에서 작동하고 에이전트 지원 모델 통합을 위한 GitHub SKILL을 제공합니다.

  • 프로젝트
    NVlabs/FastGen

    이미지와 비디오 생성을 위해 다양한 증류 및 가속 기법을 활용해 확산 모델을 빠르게 만드는 PyTorch 기반 프레임워크.

  • 프로젝트
    ModelTC/LightX2V

    LightX2V는 빠른 이미지 및 비디오 생성을 위한 오픈소스 추론 프레임워크입니다. 다양한 모델(MiniMax‑H3, LTX‑2, HunyuanVideo‑1.5, Wan‑2.x, Qwen‑Image 등)을 지원하며, 4단계 증류 LoRA, FP8/NVFP4 양자화, 텐서 병렬화, 다양한 가속기에서의 분리 배포와 같은 속도 향상 기법을 제공합니다. 사용자는 단일 `LightX2VPipeline` 클래스를 통해 상호작용하며, 모델, 변형, JSON 구성을 선택한 다음 작업(예: t2av, t2v, i2i)과 함께 `generate`를 호출합니다. 보고된 벤치마크에 따르면 H100 GPU에서 Diffusers 대비 최대 약 4배의 속도 향상을 보입니다. 이 프로젝트는 Docker 이미지, macOS 앱, 온라인 데모, 그리고 방대한 문서와 예제를 제공합니다.