comfyui_LLM_party: 복잡한 LLM 및 에이전트 워크플로우 구축을 위한 포괄적인 ComfyUI 노드 제품군

해결하는 문제

ComfyUI LLM Party는 ComfyUI 생태계 내에서 LLM 워크플로우를 구축하기 위한 포괄적인 노드 세트를 제공합니다. 이는 대규모 언어 모델과 이미지 생성 워크플로우 사이의 간극을 메워, 사용자가 AI 어시스턴트, RAG 시스템, 그리고 복잡한 에이전트 동작을 시각적 노드 기반 환경에 직접 통합할 수 있게 합니다.

작동 방식

이 프로젝트는 다양한 모델 로딩 방식을 지원하는 다양한 ComfyUI 커스텀 노드를 구현합니다:

• API 기반: oneapi 또는 aisuite를 통해 OpenAI 호환 API, Azure OpenAI, Grok 및 기타 다양한 API를 지원합니다.
• 로컬 로딩: transformer 라이브러리에서 직접 모델을 로드하거나, llama-cpp-python을 통한 GGUF 형식, 그리고 Ollama를 통한 로컬 호스팅을 지원합니다.
• VLM 통합: 이미지-텍스트 작업을 위해 Llama-3.2-Vision 및 Qwen2.5-VL과 같은 Vision-Language Models (VLMs) 지원을 포함합니다.

이를 통해 Stable Diffusion을 위한 단순한 프롬프트 생성부터 복잡한 에이전트-에이전트 상호작용 모드(radial 및 ring)와 Discord 및 Feishu와 같은 소셜 앱과의 통합까지 모든 것을 구축할 수 있습니다.

대상 사용자

• ComfyUI 사용자 중 이미지 생성 파이프라인에 LLM을 통합하고자 하는 사용자.
• AI 연구자 및 학생 중 파라미터 디버깅 및 모델 적응을 위한 시각적 인터페이스가 필요한 사용자.
• 스트리밍 미디어 종사자 중 LLM + TTS + ComfyUI 워크플로우를 한 곳에서 해결하고자 하는 사용자.
• 개발자 중 RAG 및 GraphRAG를 사용하여 로컬 산업 지식 베이스를 구축하고자 하는 사용자.

주요 특징

• 광범위한 모델 지원: GGUF 및 transformer 기반 LLM/VLMs를 포함하여 방대한 API 및 로컬 모델과 호환됩니다.
• 에이전트 워크플로우: 멀티 툴 호출(multi-tool calling), 역할 설정, 그리고 복잡한 에이전트 상호작용 패턴을 지원합니다.
• 고급 RAG: 지식 베이스 관리를 위해 산업 특화 단어 벡터 RAG 및 GraphRAG를 구현합니다.
• MCP 툴링: 확장된 툴 기능을 위해 외부 MCP 서버에 연결하는 Model Context Protocol (MCP) 통합을 지원합니다.
• 스트리밍 출력: API 호출 시 콘솔에 실시간 텍스트를 표시합니다.