torinmb/mediapipe-touchdesigner

解決的問題

此外掛程式讓 TouchDesigner 使用者能在不需安裝複雜的本機函式庫或外部相依性的情況下，整合 Google 的 MediaPipe 所提供的 GPU 加速電腦視覺任務。它提供了一種自我封裝的方式，可在視覺程式設計環境中執行即時追蹤與分割。

作法原理

此外掛程式在 TouchDesigner 內部執行一個本機 Web 伺服器與嵌入式 Chromium 瀏覽器。透過 WebAssembly 執行 MediaPipe 的 JavaScript 實作，以實現 GPU 加速。偵測資料隨後透過本機 WebSocket 伺服器從瀏覽器傳回 TouchDesigner，並從 JSON 解碼為可用的資料格式（CHOPs 與 TOPs）。

適用對象

需要即時臉部、手部、姿勢與物件追蹤以實現視覺效果或互動體驗的 TouchDesigner 使用者，包括創意程式設計師、互動裝置藝術家與開發者。

主要特色

• 廣泛模型支援：包含臉部偵測、臉部關鍵點追蹤、手部追蹤、物件偵測、姿勢追蹤、影像分割與影像分類。
• 零安裝：作為獨立的 .tox 檔案執行，Mac 或 PC 上無需任何外部設定。
• GPU 加速：利用瀏覽器的 GPU 能力，實現高效率的視覺任務。
• 彈性輸入：支援網路攝影機輸入與透過 Spout（Windows）或 Syphon/OBS（Mac）的外部影片來源。
• 效能監控：提供偵測時間、繪製時間與畫面延遲的即時指標。