VrchStudio/comfyui-web-viewer

何を解決するか

ComfyUI Web Viewer は、AI生成コンテンツをリアルタイムのインタラクティブアートに変換する方法を提供します。標準的な ComfyUI ワークフローの静的性を克服し、リアルタイムストリーミングと外部コントロール入力を可能にすることで、ユーザーは任意のデバイスからウェブブラウザ上でAIビジュアルやオーディオとインタラクションできます。

動作方法

これは、ストリーミング機能とさまざまな入力方法を統合する ComfyUI 用のカスタムノードのコレクションです。WebSockets と専用ノードを使用して、AI生成プロセスとウェブベースの表示の間のギャップを埋めます。このシステムは、キーボードキー、OSC（Open Sound Control）、MIDIデバイス、ゲームパッド、およびリアルタイム分析（感情検出など）に使用可能なオーディオ入力など、幅広い外部トリガーとコントローラーをサポートしています。

対象ユーザー

外部センサーやユーザー入力によって駆動されるAI生成画像や音声を活用したインタラクティブAIインスタレーションやライブパフォーマンスを構築したいデジタルアーティスト、VJ、クリエイター向けです。

特徴

• マルチインプットコントロール：キーボード、OSC、MIDI、ゲームパッド入力に対応し、AIワークフローをトリガーまたは変更可能。
• リアルタイムストリーミング：ウェブブラウザ経由でAI生成コンテンツを即座に表示可能。
• オーディオインタラクティビティ：オーディオ録音および感情検出用のノードを含み、ビジュアルを駆動可能。
• 最適化されたモデルロード：TensorRT および CLIP専用チェックポイント用の専用ローダーを備え、高VRAMワークフローでのパフォーマンスを向上。