Acly/comfyui-tooling-nodes

解決する課題

このプロジェクトは、ComfyUIを外部ソフトウェアツールのバックエンドとしてより簡単に使用できるように設計された、一連のカスタムノードとAPI拡張を提供します。ファイルシステムを介した画像やマスクの交換による摩擦を解消し、リージョナルプロンプトの適用プロセスを簡素化し、VRAMを節約するための大きな画像のタイリングツールを提供します。

仕組み

このツールキットは、いくつかの特化されたモジュールを通じてComfyUIの機能を拡張します：

• 画像/マスク処理: プロンプトに埋め込まれたBase64文字列または一時的なRAMキャッシュを介して画像とマスクをロードするノードを導入し、出力画像をWebSocketまたはHTTP GETリクエストを介してクライアントに返送します。
• リージョナルプロンプト: アテンションマスキングを実装し、ユーザーが背景領域と複数の特定の前景領域（それぞれに独自のプロンプトを設定可能）を定義できるようにすることで、より自然な構図を作成できるようにします。
• タイリング: 設定可能なパディングとブレンディングを備えたタイルに画像を分割し、個別に処理した後、シームレスに結合するためのツールを提供します。
• その他のツール: ローカル翻訳ノード（Argos Translateを使用）とNSFWフィルター（Stable Diffusionのセーフティチェッカーを使用）が含まれています。
• API拡張: モデルのメタデータ（ベースモデル、量子化タイプ）の検査、テキストの翻訳、ComfyUIディレクトリへのモデルの直接アップロードのためのHTTPエンドポイントを追加します。

対象ユーザー

ComfyUIをヘッドレス生成エンジンとして使用する外部アプリケーション、UI、またはスクリプトを構築している開発者、および画像領域の高度な制御やメモリ効率の高いタイリングを必要とするComfyUIユーザー。

ハイライト

• 直接画像転送: Base64、WebSocket、RAMキャッシュを使用してディスクI/Oをバイパスし、より高速な画像交換を実現します。
• アテンションマスキング: コンディションマスキングの硬さを排除し、精密で自然な外観のリージョナルプロンプトを可能にします。
• 柔軟なタイリング: タイル抽出と結合をサンプリングパイプラインから分離し、ワークフローの柔軟性を最大限に高めます。
• モデル検査API: 外部ツールがベースアーキテクチャ（例：SDXL、Flux）や量子化（例：GGUF）に基づいてモデルを自動的に分類およびフィルタリングできるようにします。
• ローカル翻訳: 非英語のプロンプトをローカルで英語に翻訳する機能を統合しています。