torinmb/mediapipe-touchdesigner

何を解決するか

このプラグインにより、TouchDesignerユーザーは、複雑なローカルライブラリや外部依存関係のインストールを必要とせずに、GoogleのMediaPipeからGPUアクセラレーテッドコンピュータビジョンタスクを統合できます。視覚プログラミング環境でリアルタイムのトラッキングおよびセグメンテーションを実行するための自己完結型の方法を提供します。

動作方法

このプラグインは、TouchDesigner内にローカルWebサーバーと埋め込みChromiumブラウザを実行します。MediaPipeのJavaScript実装をWebAssembly経由で実行し、GPUアクセラレーションを可能にします。検出データは、ローカルWebSocketサーバーを介してブラウザからTouchDesignerに送信され、JSONからデコードされて使用可能なデータ形式（CHOPsおよびTOPs）に変換されます。

対象ユーザー

リアルタイムの顔、手、ポーズ、オブジェクトトラッキングが必要な、TouchDesignerを使用するクリエイティブコーダー、インタラクティブインスタレーションアーティスト、および開発者。

特徴

• 広範なモデル対応: 顔検出、顔ランドマークトラッキング、手のトラッキング、オブジェクト検出、ポーズトラッキング、画像セグメンテーション、画像分類を含む。
• インストール不要: MacやPCで外部設定なしに、スタンドアロンの.toxファイルとして動作。
• GPUアクセラレーション: ブラウザのGPU機能を活用して、高性能なビジョンタスクを実行。
• 柔軟な入力: ウェブカメラ入力と、Spout（Windows）またはSyphon/OBS（Mac）を介した外部ビデオソースに対応。
• パフォーマンスモニタリング: 検出時間、描画時間、フレーム遅延のリアルタイムメトリクスを提供。