comfyui_LLM_party: 複雑なLLMおよびエージェント的ワークフローを構築するためのComfyUIノードの包括的なスイート

何を解決するか

ComfyUI LLM Partyは、ComfyUIエコシステム内でLLMワークフローを構築するための包括的なノードセットを提供します。これにより、大規模言語モデルと画像生成ワークフローの間のギャップを埋め、ユーザーがAIアシスタント、RAGシステム、および複雑なエージェント的挙動を視覚的なノードベースの環境に直接統合できるようにします。

仕組み

このプロジェクトは、複数のモデル読み込み方法をサポートするさまざまなComfyUIカスタムノードを実装しています：

• APIベース: oneapi または aisuite を介して、OpenAI互換API、Azure OpenAI、Grok、およびその他多数をサポートします。
• ローカル読み込み: transformer ライブラリから直接モデルを読み込むこと、llama-cpp-python を介したGGUF形式、およびOllamaを通じたローカルホスティングをサポートします。
• VLM統合: 画像からテキストへのタスクのために、Llama-3.2-Vision や Qwen2.5-VL のようなVision-Language Models (VLMs) のサポートを含みます。

Stable Diffusion用の単純なプロンプト生成から、複雑なエージェント間相互作用モード（radialおよびring）や、DiscordおよびFeishuのようなソーシャルアプリとの統合まで、あらゆるものの構築を可能にします。

対象ユーザー

• ComfyUIユーザー who want to integrate LLMs into their image generation pipelines.
• AI研究者および学生 who need a visual interface for parameter debugging and model adaptation.
• ストリーミングメディアワーカー who require a one-stop LLM + TTS + ComfyUI workflow.
• 開発者 who are building localized industry knowledge bases using RAG and GraphRAG.

ハイライト

• 幅広いモデルサポート: GGUFやtransformerベースのLLM/VLMsを含む、膨大な数のAPIおよびローカルモデルと互換性があります。
• エージェント的ワークフロー: マルチツール呼び出し、ロール設定、および複雑なエージェント相互作用パターンをサポートします。
• 高度なRAG: 知識ベース管理のために、業界特化型の単語ベクトルRAGおよびGraphRAGを実装しています。
• MCPツール: 拡張されたツール機能のために、外部MCPサーバーに接続するためのModel Context Protocol (MCP) との統合。
• ストリーミング出力: API呼び出し時のコンソールでのリアルタイムテキスト表示。