Acly/comfyui-tooling-nodes

解決的問題

本專案提供了一套專為 ComfyUI 設計的自定義節點和 API 擴充，旨在讓 ComfyUI 更容易作為外部軟體工具的後端使用。它解決了透過檔案系統交換圖像和遮罩的摩擦問題，簡化了區域提示詞的應用流程，並提供了用於對大圖進行分塊（tiling）以節省 VRAM 的工具。

工作原理

該工具包透過幾個專業模組擴展了 ComfyUI 的功能：

• 圖像/遮罩處理：引入了透過嵌入在提示詞中的 Base64 字串或透過臨時 RAM 快取載入圖像和遮罩的節點，並透過 WebSocket 或 HTTP GET 請求將輸出圖像傳回用戶端。
• 區域提示詞：實現了注意力遮罩（attention masking），允許用戶定義一個背景區域和多個特定的前景區域（每個區域都有自己的提示詞），從而創建更自然的構圖。
• 分塊 (Tiling)：提供將圖像分割成具有可配置填充和混合效果的切片的工具，對切片進行單獨處理，然後無縫地重新合併。
• 雜項工具：包括本地翻譯節點（由 Argos Translate 提供支援）和 NSFW 過濾器（使用 Stable Diffusion 安全檢查器）。
• API 擴充：新增了 HTTP 端點，用於檢查模型元數據（基礎模型、量化類型）、翻譯文本以及直接將模型上傳到 ComfyUI 目錄。

適用對象

構建使用 ComfyUI 作為無頭生成引擎的外部應用程式、UI 或指令碼的開發人員，以及需要對圖像區域進行高級控制和記憶體高效分塊的 ComfyUI 用戶。

亮點

• 直接圖像傳輸：透過使用 Base64、WebSocket 和 RAM 快取繞過磁碟 I/O，實現更快的圖像交換。
• 注意力遮罩：實現精確、外觀自然的區域提示詞，而不會出現條件遮罩（condition masking）的生硬感。
• 靈活的分塊：將切片提取和合併從採樣流水線中解耦，實現最大的工作流靈活性。
• 模型檢查 API：允許外部工具根據基礎架構（例如 SDXL、Flux）和量化方式（例如 GGUF）自動對模型進行分類和過濾。
• 本地翻譯：集成了將非英語提示詞在本地翻譯成英語的功能。