Diffusers FLUX.2 整合

Hugging Face 已將 FLUX.2 整合到 Diffusers 庫中，允許使用者透過 Flux2Pipeline 運行高品質的文字到圖像生成。此整合支援優化的模型變體，包括 4 位元量化版本，以降低記憶體開銷。

技術實作與管線

Diffusers 中的 FLUX.2 實作利用專門的管線和變換器模型來處理圖像生成過程。管線的核心組件包括：

  • Flux2Pipeline: 用於協調文字到圖像過程的主要類別。
  • Flux2Transformer2DModel: 負責圖像合成的模型架構。
  • Mistral3ForConditionalGeneration: 作為文字編碼器使用，將提示處理成變換器可理解的嵌入。 為了優化資源使用，此整合支援 torch.bfloat16 和 enable_model_cpu_offload()，在不使用時將模型組件移至 CPU 以節省 GPU 顯存。

模型配置與使用

diffusers/FLUX.2-dev-bnb-4bit 儲存庫提供了一個 4 位元量化的模型版本，這顯著降低了運行模型的硬體需求。

推理參數範例

在 Diffusers 中，FLUX.2 的典型推理設置使用以下參數：

  • Inference Steps: 50 步（儘管 28 步被指出是速度與品質的良好折衷）。
  • Guidance Scale: 4。
  • Precision: torch.bfloat16.

庫的棄用

Hugging Face 已宣布 Flax classes 現在已棄用，並將在 Diffusers v1.0.0 中移除。建議使用者遷移到 PyTorch classes，或釘選當前的 Diffusers 版本以保持相容性。

記憶體考量

儘管使用了 4 位元量化和 CPU 卸載，模型仍然資源密集。技術日誌指出，如果 GPU 容量不足以處理前向傳遞期間文字編碼器和變換器的總負載，則可能會發生 CUDA OutOfMemory 錯誤。

Sources