heshengtao/comfyui_LLM_party

What it solves

ComfyUI LLM Party は、ComfyUI エコシステム内で LLM ワークフローを構築するための包括的なノードセットを提供します。大規模言語モデルと画像生成ワークフローのギャップを埋め、ユーザーが AI アシスタント、RAG システム、複雑なエージェント行動を視覚的なノードベース環境に直接統合できるようにします。

How it works

このプロジェクトは、さまざまなモデル読み込み方法をサポートするカスタムノードを多数実装しています：

• API-based: OpenAI 互換 API、Azure OpenAI、Grok、oneapi や aisuite を介したその他多数をサポート。
• Local Loading: transformer ライブラリからの直接ロード、llama-cpp-python による GGUF 形式、Ollama を使ったローカルホスティングをサポート。
• VLM Integration: Llama-3.2-Vision や Qwen2.5-VL といった Vision‑Language Models（VLM）への対応を含み、画像→テキストタスクを実現。

シンプルな Stable Diffusion 用プロンプト生成から、ラジアル・リング型の複雑なエージェント間相互作用モード、Discord や Feishu などのソーシャルアプリとの統合まで、あらゆる構築が可能です。

Who it’s for

• ComfyUI ユーザー 画像生成パイプラインに LLM を統合したい方。
• AI 研究者・学生 パラメータデバッグやモデル適応のためのビジュアルインターフェースが必要な方。
• ストリーミングメディア制作者 ワンストップの LLM + TTS + ComfyUI ワークフローを求める方。
• 開発者 RAG と GraphRAG を用いてローカライズされた業界知識ベースを構築したい方。

Highlights

• Broad Model Support: GGUF や transformer 系 LLM/VLM を含む、膨大な API とローカルモデルに対応。
• Agentic Workflows: マルチツール呼び出し、ロール設定、複雑なエージェント相互作用パターンをサポート。
• Advanced RAG: 業界特化型の単語ベクトル RAG と GraphRAG を実装し、知識ベース管理を強化。
• MCP Tooling: Model Context Protocol（MCP）との統合により、外部 MCP サーバーへ接続してツール機能を拡張可能。
• Streaming Output: API 呼び出し時にコンソールへリアルタイムでテキストを表示。