comfyui_LLM_party: 一套用於構建複雜 LLM 與代理工作流的全面 ComfyUI 節點套件

它解決了什麼問題

ComfyUI LLM Party 提供了一套全面的節點，用於在 ComfyUI 生態系統中構建 LLM 工作流。它彌合了大語言模型與圖像生成工作流之間的差距，允許用戶直接將 AI 助手、RAG 系統和複雜的代理行為集成到其視覺化節點環境中。

運作原理

該項目為 ComfyUI 實現了多種自定義節點，支持多種模型加載方法：

• 基於 API： 通過 oneapi 或 aisuite 支持 OpenAI 相容的 API、Azure OpenAI、Grok 以及其他各種 API。
• 本地加載： 支持直接從 transformer 庫加載模型、通過 llama-cpp-python 加載 GGUF 格式模型，以及通過 Ollama 進行本地託管。
• VLM 集成： 包括對 Llama-3.2-Vision 和 Qwen2.5-VL 等視覺語言模型 (VLMs) 的支持，用於圖像轉文本任務。

它能夠構建從簡單的 Stable Diffusion 提示詞生成到複雜的代理-代理交互模式（徑向與環形）以及與 Discord 和 Feishu 等社交應用的集成。

對象是誰

• ComfyUI 用戶，希望將 LLM 集成到其圖像生成管線中。
• AI 研究人員與學生，需要一個用於參數調試和模型適應的視覺化界面。
• 串流媒體工作者，需要一站式的 LLM + TTS + ComfyUI 工作流。
• 開發者，使用 RAG 和 GraphRAG 構建本地化行業知識庫。

重點亮點

• 廣泛的模型支持： 與大量 API 和本地模型兼容，包括 GGUF 和基於 transformer 的 LLMs/VLMs。
• 代理工作流： 支持多工具調用、角色設置以及複雜的代理交互模式。
• Advanced RAG： 實現了行業特定的詞向量 RAG 和 GraphRAG，用於知識庫管理。
• MCP 工具化： 與 Model Context Protocol (MCP) 集成，以連接到外部 MCP 服務器來擴展工具能力。
• 串流輸出： API 調用時在控制台中進行實時文本顯示。