torinmb/mediapipe-touchdesigner

解决的问题

该插件允许 TouchDesigner 用户在无需安装复杂的本地库或外部依赖项的情况下，集成 Google 的 MediaPipe 提供的 GPU 加速计算机视觉任务。它提供了一种自包含的方式，可在视觉编程环境中实现实时跟踪和分割。

工作原理

该插件在 TouchDesigner 内部运行一个本地 Web 服务器和嵌入式 Chromium 浏览器。通过 WebAssembly 执行 MediaPipe 的 JavaScript 实现，从而实现 GPU 加速。检测数据随后通过本地 WebSocket 服务器从浏览器发送回 TouchDesigner，并从 JSON 解码为可用的数据格式（CHOPs 和 TOPs）。

适用人群

需要实时人脸、手部、姿态和物体跟踪以实现视觉效果或互动体验的 TouchDesigner 用户，包括创意程序员、互动装置艺术家和开发者。

主要亮点

• 广泛模型支持：支持人脸检测、人脸关键点追踪、手部追踪、物体检测、姿态追踪、图像分割和图像分类。
• 零安装：作为独立的 .tox 文件运行，Mac 或 PC 上无需任何外部设置。
• GPU 加速：利用浏览器的 GPU 能力，实现高性能视觉任务。
• 灵活输入：支持通过 Spout（Windows）或 Syphon/OBS（Mac）接入外部视频源和网络摄像头。
• 性能监控：提供检测时间、绘制时间及帧延迟的实时指标。