comfyui_LLM_party: 用于构建复杂 LLM 和智能体工作流的 ComfyUI 节点综合套件

它解决了什么问题

ComfyUI LLM Party 为在 ComfyUI 生态系统中构建 LLM 工作流提供了一套全面的节点。它弥补了大语言模型与图像生成工作流之间的鸿沟，允许用户直接在其基于节点的视觉环境中集成 AI 助手、RAG 系统和复杂的智能体行为。

工作原理

该项目为 ComfyUI 实现了一系列自定义节点，支持多种模型加载方式：

• 基于 API: 支持通过 oneapi 或 aisuite 使用 OpenAI 兼容的 API、Azure OpenAI、Grok 以及其他各种 API。
• 本地加载: 支持直接从 transformer 库加载模型，通过 llama-cpp-python 加载 GGUF 格式模型，以及通过 Ollama 进行本地托管。
• VLM 集成: 包括对 Llama-3.2-Vision 和 Qwen2.5-VL 等视觉语言模型 (VLMs) 的支持，用于图像转文本任务。

它能够构建从简单的 Stable Diffusion 提示词生成到复杂的智能体-智能体交互模式（径向和环形）以及与 Discord 和 Feishu 等社交应用的集成。

适用人群

• ComfyUI 用户，希望将 LLM 集成到其图像生成流水线中。
• AI 研究人员和学生，需要一个用于参数调试和模型适配的视觉界面。
• 流媒体从业者，需要一站式的 LLM + TTS + ComfyUI 工作流。
• 开发者，使用 RAG 和 GraphRAG 构建本地化行业知识库。

亮点

• 广泛的模型支持: 兼容大量 API 和本地模型，包括 GGUF 和基于 transformer 的 LLMs/VLMs。
• 智能体工作流: 支持多工具调用、角色设置和复杂的智能体交互模式。
• 高级 RAG: 实现针对特定行业的词向量 RAG 和 GraphRAG，用于知识库管理。
• MCP 工具化: 与 Model Context Protocol (MCP) 集成，以连接到外部 MCP 服务器以扩展工具能力。
• 流式输出: API 调用时在控制台中进行实时文本显示。