pollockjj/ComfyUI-MultiGPU

解決する問題

ComfyUI-MultiGPUは、大規模なAIモデルを実行する際のGPU VRAMの制限という問題に対処します。ユーザーはモデルのコンポーネント（UNet、VAE、CLIPなど）を複数のGPUに分散したり、システムRAM（CPU DRAM）にオフロードしたりして、主要な計算GPUのVRAMを解放し、より長い動画の生成や高解像度画像など、より大きな潜在空間処理に使用できます。

仕組み

このプロジェクトは、DisTorch（分散Torch）と呼ばれるシステムを使用して、モデルの静的部分をメインの計算カードから移動します。いくつかの割り当てモードを提供します。

• 通常モード：シンプルなスライダーを使用して、特定の量の「仮想VRAM」を単一のドナーデバイスにオフロードします。
• エキスパートモード：3つの異なる戦略に対してテキスト文字列による正確な制御を提供します。
  • バイト：各デバイスに正確なGBまたはMBを指定します（例：cuda:0,2.5gb;cpu,*）。
  • 比率：パーセンテージ比に基づいてモデルを分散します（例：cuda:0,25%;cpu,75%）。
  • 分数：各デバイスの利用可能な合計VRAMの分数に基づいて割り当てます。

対象ユーザー

このツールは、複数のGPUまたはメインカードのVRAMが限られており、メモリ不足エラーに遭遇せずに、より大きなモデル（FLUX、WanVideo、GGUF量子化モデルなど）を実行したいComfyUIユーザー向けです。

ハイライト

• ユニバーサルサポート：.safetensorsおよびGGUF量子化モデルで動作します。
• 豊富なノードライブラリ：標準のComfyUIローダーのMultiGPUバージョンを自動的に作成し、WanVideoWrapperやFlorence2などのサードパーティ拡張機能と統合します。
• 柔軟なオフロード：GPUで計算を実行しながら、モデル全体をシステムRAMにオフロードできます。
• 詳細なドキュメント：70以上のノードの組み込みヘルプが含まれています。