chflame163/ComfyUI_LayerStyle_Advance

解決的問題

此專案提供了一組進階的 ComfyUI 自定義節點，專門用於處理需要大量依賴套件的複雜圖像處理任務。它透過增加高品質圖像標註、視覺語言模型 (VLM) 推理和進階圖像合成功能，擴展了 ComfyUI 的基本功能。

運作方式

它將各種專業 AI 模型和 API 整合到 ComfyUI 的節點式工作流程中。包括：

• 本地 VLM 推理：實作如 Llama 3.2 Vision、JoyCaption2 和 SmolVLM 等模型，用於圖像轉文字任務。
• API 整合：連接到如 DeepSeek、Gemini、ZhipuGLM4 和 Jimeng 等外部服務，進行文字與視覺推理。
• 圖像處理：提供用於建立圖像拼貼的工具，並利用 SAM2 (Segment Anything Model 2) 進行精確的物件遮罩。
• 專業處理：使用如 Florence-2 等模型進行物件識別與裁切。

適用對象

• 希望自動化從圖像生成詳細提示詞 (image-to-prompt) 的 ComfyUI 使用者。
• 需要在節點式工作流程中使用進階圖層、遮罩和圖像合成工具的數位藝術家與 AI 創作者。
• 尋求將最先進的 VLM 和 LLM 整合到圖像生成管線中的使用者。

特色亮點

• 進階標註：包含 JoyCaption2，用於產生高度詳細且可自訂的圖像描述（例如指定光影、攝影角度或美學品質）。
• 多模型支援：支援廣泛的本地與基於 API 的模型，包括 Llama 3.2 Vision、Qwen 和 Gemini 2.0 Flash。
• 智慧合成：拼貼節點 (Collage node) 可在建立圖像網格時，使用 Florence-2 進行智慧物件識別與裁切。
• 高效資源管理：拆分模型載入節點（如 JoyCaption2Split），可在多個節點間共享模型，減少 VRAM 使用量。