google-ai-edge/mediapipe

MediaPipe – オンデバイスMLパイプラインを簡単に

概要 – MediaPipe は、Google が提供するオープンソースのフレームワークで、高速なオンデバイス機械学習パイプライン（グラフと呼ばれる）を構築するためのものです。ハンドトラッキング、ポーズ推定、物体検出、テキスト・音声分類器などの既製のソリューションが含まれており、開発者はこれらを Android、iOS、Web、デスクトップ、その他のエッジデバイスに組み込むことができます。

主要コンポーネント

• MediaPipe Framework – 低レベル C++ ライブラリ（Android/iOS バインディング付き）。計算器を組み立て、有向グラフでデータパケットを処理できます。これはカスタム認識パイプラインのエンジンです。
• MediaPipe Tasks – 高レベルでクロスプラットフォームの API（Python、Java、JavaScript、C++）。既製のソリューションを、アプリから呼び出せる単純な関数として公開します。
• Model Maker – 同梱の事前学習済みモデルを独自のデータで微調整するためのツール。
• MediaPipe Studio – ブラウザベースのビジュアライザー。グラフの構築、デバッグ、ベンチマークに使用します。

重要性 – すべての推論はローカルで実行されるため、ユーザーデータがデバイス外に出ることはありません。これはプライバシーに敏感なアプリにとって重要です。このフレームワークはモバイル/エッジハードウェア向けに高度に最適化されており、ビジョン、オーディオ、テキストタスクでリアルタイム性能を発揮します。

典型的なユースケース

• ビデオ会議アプリでの背景ぼかしや仮想背景の追加。
• AR/VR、手話インターフェース、義肢制御のためのリアルタイムハンドトラッキング。
• フィットネス、ゲーム、モーションキャプチャのためのポーズ推定。
• ロボティクス、スマートカメラ、小売向けのオンデバイス物体検出。

はじめに – 対象プラットフォーム（Android、Web、Python）の公式ドキュメントのクイックスタートガイドに従ってください。リポジトリにはサンプルアプリとレガシーソリューションのソースコードも含まれています。

コミュニティとサポート – Slack チャンネル、Google Group、Stack Overflow タグ、厳選された「Awesome MediaPipe」リストがあります。

ライセンス – Apache 2.0 ライセンスの下でオープンソースです。