pollockjj/ComfyUI-MultiGPU

해결하는 문제

ComfyUI-MultiGPU는 대규모 AI 모델을 실행할 때 GPU VRAM이 제한되는 문제를 해결합니다. 사용자는 모델 구성 요소(UNet, VAE, CLIP 등)를 여러 GPU에 분산하거나 시스템 RAM(CPU DRAM)으로 오프로드하여 기본 계산 GPU의 VRAM을 확보하고, 더 긴 비디오 생성이나 더 높은 해상도의 이미지와 같은 더 큰 잠재 공간 처리를 가능하게 합니다.

작동 방식

이 프로젝트는 DisTorch(분산 토치)라는 시스템을 사용하여 모델의 정적 부분을 기본 계산 카드에서 이동합니다. 여러 할당 모드를 제공합니다.

• 일반 모드: 간단한 슬라이더를 사용하여 특정 양의 "가상 VRAM"을 단일 기증 장치에 오프로드합니다.
• 전문가 모드: 세 가지 다른 전략에 대해 텍스트 문자열을 통한 정밀한 제어를 제공합니다.
  • 바이트: 각 장치에 정확한 GB 또는 MB를 지정합니다(예: cuda:0,2.5gb;cpu,*).
  • 비율: 백분율 비율에 따라 모델을 분산합니다(예: cuda:0,25%;cpu,75%).
  • 분수: 각 장치의 총 사용 가능한 VRAM의 분수에 따라 할당합니다.

대상 사용자

이 도구는 여러 GPU를 보유했거나 기본 카드의 VRAM이 제한적이며, 메모리 부족 오류 없이 더 큰 모델(FLUX, WanVideo, GGUF 양자화 모델 등)을 실행하려는 ComfyUI 사용자를 위한 것입니다.

주요 기능

• 범용 지원: .safetensors 및 GGUF 양자화 모델에서 작동합니다.
• 광범위한 노드 라이브러리: 표준 ComfyUI 로더의 MultiGPU 버전을 자동으로 생성하고 WanVideoWrapper 및 Florence2와 같은 타사 확장 프로그램과 통합됩니다.
• 유연한 오프로드: GPU에서 계산을 수행하면서 전체 모델을 시스템 RAM으로 오프로드할 수 있습니다.
• 상세 문서: 70개 이상의 노드에 대한 내장 도움말을 포함합니다.