VrchStudio/comfyui-web-viewer

解决的问题

ComfyUI Web Viewer 提供了一种将 AI 生成内容转化为实时互动艺术的方法。它克服了标准 ComfyUI 工作流的静态特性，通过支持实时流媒体和外部控制输入，使用户能够从任何设备的网页浏览器中与 AI 视觉和音频进行互动。

工作原理

这是一组为 ComfyUI 设计的自定义节点，集成了流媒体功能和多种输入方式。它使用 WebSockets 和专用节点，弥合 AI 生成过程与基于网页的显示之间的差距。该系统支持广泛的外部触发器和控制器，包括键盘按键、OSC（开放声音控制）、MIDI 设备、游戏手柄，以及用于实时分析的音频输入（如情绪检测）。

适用人群

希望构建由外部传感器或用户输入驱动的 AI 生成图像和声音的互动 AI 装置或现场表演的数字艺术家、VJ 和创作者。

主要亮点

• 多输入控制：支持键盘、OSC、MIDI 和游戏手柄输入，用于触发或修改 AI 工作流。
• 实时流媒体：可通过网页浏览器即时显示 AI 生成内容。
• 音频互动：包含音频录制和情绪检测节点，用于驱动视觉效果。
• 优化的模型加载：提供针对 TensorRT 和 CLIP 专用检查点的专用加载器，以提升高显存工作流的性能。