VrchStudio/comfyui-web-viewer

해결하는 문제

ComfyUI Web Viewer는 AI 생성 콘텐츠를 실시간 인터랙티브 아트로 전환할 수 있는 방법을 제공합니다. 표준 ComfyUI 워크플로우의 정적인 성격을 극복하여 실시간 스트리밍과 외부 제어 입력을 가능하게 하여, 사용자가 어떤 기기에서든 웹 브라우저를 통해 AI 비주얼과 오디오와 상호작용할 수 있도록 합니다.

작동 방식

이것은 WebSockets와 전용 노드를 사용하여 AI 생성 프로세스와 웹 기반 표시 사이의 격차를 메우는 ComfyUI용 커스텀 노드 모음입니다. 시스템은 키보드 키, OSC(Open Sound Control), MIDI 장치, 게임패드뿐만 아니라 실시간 분석(예: 감정 인식)에 사용할 수 있는 오디오 입력과 같은 다양한 외부 트리거 및 컨트롤러를 지원합니다.

대상 사용자

외부 센서나 사용자 입력에 의해 구동되는 AI 생성 이미지와 사운드를 활용한 인터랙티브 AI 설치작품이나 라이브 공연을 만들고 싶은 디지털 아티스트, VJ, 크리에이터에게 적합합니다.

주요 기능

• 다중 입력 제어: 키보드, OSC, MIDI, 게임패드 입력을 지원하여 AI 워크플로우를 트리거하거나 수정 가능.
• 실시간 스트리밍: 웹 브라우저를 통해 AI 생성 콘텐츠를 즉시 표시 가능.
• 오디오 인터랙티비티: 오디오 녹음 및 감정 인식 노드를 포함하여 비주얼을 제어 가능.
• 최적화된 모델 로딩: TensorRT 및 CLIP 전용 체크포인트용 전용 로더를 제공하여 고VRAM 워크플로우에서 성능 향상.