artokun/comfyui-mcp

何を解決するか

comfyui-mcp は ComfyUI の包括的な制御プレーンを提供し、任意の LLM を通じて自然言語でノードベースの生成AIインターフェースを操作できるようにします。単なるプロンプト転送を越えて、AIエージェントが実際に ComfyUI 環境を操作できるようにします——ワークフロー、モデル、カスタムノードの作成・編集・管理を行うことで、単にレンダリングをトリガーするだけにとどまりません。

動作方法

このプロジェクトは、LLM（Claude、ChatGPT、Gemini、Ollama によるローカルモデルなど）と ComfyUI インストールの間を橋渡しする Model Context Protocol (MCP) サーバーを実装しています。ローカルインストール、LAN、VPS、Comfy Cloud いずれにも対応可能です。

主な構成要素は以下の通りです：

• MCP Server：LLM にワークフロー実行およびグラフ操作用の 38 のツールを公開するスタンドアロンサーバー。
• Agent Panel：ComfyUI 用のサイドバー拡張機能で、自律エージェントがリアルタイムでライブキャンバスを操作できるようにします。
• Claude Code Plugin：Claude Code 環境に特殊なスラッシュコマンド、自律エージェント（エクスプローラー、デバッガー、オプティマイザー、リサーチャー）、およびフック（VRAMウォッチドッグなど）を追加します。
• Skill Packs：特定のモデルファミリー（例：Flux、WAN、LTX 2.3）向けにバンドルされた専門知識で、エージェントに正しいサンプラー、CFG、解像度を提供し、試行錯誤を回避します。

対象ユーザー

ComfyUI を使用し、複雑なワークフローの自動化、障害の診断、環境管理を AI アシスタントを使って行いたい生成AIアーティストや開発者。さまざまなデプロイ形状（ローカルGPU、リモートポッド、クラウド）に対応しています。

特徴

• 完全なグラフ制御：自然言語でライブ ComfyUI グラフをノード単位で編集可能。
• マルチ-LLM対応：Claude、ChatGPT、Gemini、Ollama、および OpenAI互換エンドポイントと互換性あり。
• 自律エージェント：ワークフロー障害のデバッグやVRAM使用量の最適化に特化したエージェントを搭載。
• モデル専門知識：13種類以上のモデルファミリー向けにカスタマイズされたガイドとインストーラーパックを同梱し、高品質な生成を保証。
• リモートオーケストレーション：セキュアなトンネル経由でローカルマシンからリモートの ComfyUI インスタンスを制御可能。
• VRAMウォッチドッグ：実行前にGPUメモリが不足しているかを検出し、ユーザーに警告するプリ実行フック。