torinmb/mediapipe-touchdesigner

해결하는 문제

이 플러그인은 Google의 MediaPipe에서 GPU 가속 컴퓨터 비전 작업을 복잡한 로컬 라이브러리나 외부 종속성 설치 없이 TouchDesigner 사용자가 통합할 수 있도록 합니다. 시각 프로그래밍 환경에서 실시간 추적 및 세그멘테이션을 수행할 수 있는 자체 포함형 방법을 제공합니다.

작동 방식

이 플러그인은 TouchDesigner 내부에 로컬 웹 서버와 임베디드 Chromium 브라우저를 실행합니다. WebAssembly를 통해 MediaPipe의 JavaScript 구현을 실행하여 GPU 가속을 가능하게 합니다. 검출된 데이터는 로컬 WebSocket 서버를 통해 브라우저에서 TouchDesigner으로 전송되며, JSON에서 디코딩되어 사용 가능한 데이터 형식(CHOPs 및 TOPs)으로 변환됩니다.

대상 사용자

실시간 얼굴, 손, 자세, 객체 추적을 필요로 하는 TouchDesigner을 사용하는 크리에이티브 코더, 인터랙티브 설치 아티스트, 개발자.

주요 특징

• 광범위한 모델 지원: 얼굴 검출, 얼굴 랜드마크 추적, 손 추적, 객체 검출, 자세 추적, 이미지 세그멘테이션, 이미지 분류를 포함합니다.
• 설치 없음: Mac 또는 PC에서 외부 설정 없이 독립형 .tox 파일로 실행 가능합니다.
• GPU 가속: 브라우저의 GPU 기능을 활용하여 고성능 비전 작업을 수행합니다.
• 유연한 입력: 웹캠 입력과 Spout(Windows) 또는 Syphon/OBS(Mac)를 통한 외부 비디오 소스를 지원합니다.
• 성능 모니터링: 검출 시간, 그리기 시간, 프레임 지연의 실시간 메트릭을 제공합니다.