VrchStudio/comfyui-web-viewer

解決的問題

ComfyUI Web Viewer 提供了一種將 AI 生成內容轉化為即時互動藝術的方法。它克服了標準 ComfyUI 工作流程的靜態特性，透過支援即時串流和外部控制輸入，讓使用者能從任何裝置的網頁瀏覽器中與 AI 視覺和音訊進行互動。

工作原理

這是一組為 ComfyUI 設計的自訂節點，整合了串流功能與多種輸入方式。它使用 WebSockets 和專用節點，彌補 AI 生成過程與基於網頁的顯示之間的差距。該系統支援廣泛的外部觸發器與控制器，包括鍵盤按鍵、OSC（開放聲音控制）、MIDI 裝置、遊戲手把，以及用於即時分析的音訊輸入（如情緒偵測）。

適用對象

希望建構由外部感測器或使用者輸入驅動的 AI 生成圖像與聲音的互動式 AI 裝置或現場演出的數位藝術家、VJ 和創作者。

主要亮點

• 多輸入控制：支援鍵盤、OSC、MIDI 和遊戲手把輸入，用於觸發或修改 AI 工作流程。
• 即時串流：可透過網頁瀏覽器即時顯示 AI 生成內容。
• 音訊互動：包含音訊錄製與情緒偵測節點，用於驅動視覺效果。
• 優化模型載入：提供針對 TensorRT 和 CLIP 專用檢查點的專用載入器，以提升高顯存工作流程的效能。