heshengtao/comfyui_LLM_party

LLM Agent Framework in ComfyUI includes MCP sever, Omost,GPT-sovits, ChatTTS,GOT-OCR2.0, and FLUX prompt nodes,access to Feishu,discord,and adapts to all llms with similar openai / aisuite interfaces, such as o1,ollama, gemini, grok, qwen, GLM, deepseek, kimi,doubao. Adapted to local llms, vlm, gguf such as llama-3.3 Janus-Pro, Linkage graphRAG

What it solves

ComfyUI LLM Party는 ComfyUI 생태계 내에서 LLM 워크플로를 구축하기 위한 포괄적인 노드 세트를 제공합니다. 대형 언어 모델과 이미지 생성 워크플로 사이의 격차를 메우며, 사용자가 AI 어시스턴트, RAG 시스템 및 복잡한 에이전트 행동을 시각적인 노드 기반 환경에 직접 통합할 수 있게 합니다.

How it works

이 프로젝트는 다양한 모델 로딩 방식을 지원하는 맞춤형 노드를 다수 구현합니다:

  • API-based: OpenAI 호환 API, Azure OpenAI, Grok 및 oneapi 혹은 aisuite를 통한 다양한 기타 서비스를 지원합니다.
  • Local Loading: transformer 라이브러리에서 직접 모델을 로드하고, llama-cpp-python을 통한 GGUF 포맷, Ollama를 이용한 로컬 호스팅을 지원합니다.
  • VLM Integration: Llama-3.2-Vision 및 Qwen2.5-VL과 같은 Vision‑Language Models(VLM)에 대한 지원을 포함하여 이미지‑텍스트 변환 작업을 수행합니다.

간단한 Stable Diffusion 프롬프트 생성부터 복잡한 에이전트‑에이전트 상호작용 모드(방사형 및 링형) 및 Discord, Feishu와 같은 소셜 앱과의 통합까지 모든 구성을 가능하게 합니다.

Who it’s for

  • ComfyUI 사용자 이미지 생성 파이프라인에 LLM을 통합하고자 하는 분.
  • AI 연구자 및 학생 파라미터 디버깅 및 모델 적응을 위한 시각 인터페이스가 필요한 분.
  • 스트리밍 미디어 작업자 원스톱 LLM + TTS + ComfyUI 워크플로가 필요한 분.
  • 개발자 RAG와 GraphRAG를 활용해 로컬화된 산업 지식 베이스를 구축하고자 하는 분.

Highlights

  • Broad Model Support: GGUF 및 transformer 기반 LLM/VLM을 포함한 방대한 API 및 로컬 모델을 지원합니다.
  • Agentic Workflows: 다중 도구 호출, 역할 설정 및 복잡한 에이전트 상호작용 패턴을 지원합니다.
  • Advanced RAG: 산업 특화 단어 벡터 RAG와 GraphRAG를 구현하여 지식 베이스 관리를 강화합니다.
  • MCP Tooling: Model Context Protocol(MCP)과 통합되어 외부 MCP 서버에 연결해 도구 기능을 확장할 수 있습니다.
  • Streaming Output: API 호출 시 콘솔에 실시간으로 텍스트를 표시합니다.