heshengtao/comfyui_LLM_party

LLM Agent Framework in ComfyUI includes MCP sever, Omost,GPT-sovits, ChatTTS,GOT-OCR2.0, and FLUX prompt nodes,access to Feishu,discord,and adapts to all llms with similar openai / aisuite interfaces, such as o1,ollama, gemini, grok, qwen, GLM, deepseek, kimi,doubao. Adapted to local llms, vlm, gguf such as llama-3.3 Janus-Pro, Linkage graphRAG

What it solves

ComfyUI LLM Party 提供了一套完整的节点，用于在 ComfyUI 生态系统中构建 LLM 工作流。它弥合了大型语言模型与图像生成工作流之间的鸿沟，使用户能够直接在可视化的节点环境中集成 AI 助手、RAG 系统以及复杂的代理行为。

How it works

该项目实现了多种自定义节点，支持多种模型加载方式：

  • API-based: 支持 OpenAI 兼容的 API、Azure OpenAI、Grok，以及通过 oneapi 或 aisuite 的其他多种服务。
  • Local Loading: 支持直接从 transformer library 加载模型、通过 llama-cpp-python 的 GGUF 格式，以及使用 Ollama 进行本地部署。
  • VLM Integration: 包含对 Vision‑Language Models（VLM）如 Llama-3.2-Vision 与 Qwen2.5-VL 的支持，用于图像转文字任务。

它能够构建从简单的 Stable Diffusion 提示生成，到复杂的代理‑代理交互模式（径向和环形），以及与 Discord、飞书等社交应用的集成。

Who it’s for

  • ComfyUI 用户 想将 LLM 整合到图像生成管道。
  • AI 研究者和学生 需要可视化界面来调试参数和模型适配。
  • 流媒体工作者 需要一站式的 LLM + TTS + ComfyUI 工作流。
  • 开发者 使用 RAG 与 GraphRAG 构建本地化行业知识库。

Highlights

  • Broad Model Support: 兼容大量 API 与本地模型，包括 GGUF 与基于 transformer 的 LLM/VLM。
  • Agentic Workflows: 支持多工具调用、角色设定与复杂的代理交互模式。
  • Advanced RAG: 实现行业特定的词向量 RAG 与 GraphRAG 用于知识库管理。
  • MCP Tooling: 与 Model Context Protocol（MCP）集成，可连接外部 MCP 服务器以扩展工具功能。
  • Streaming Output: API 调用时在控制台实时显示文本。