google-ai-edge/mediapipe

Cross-platform, customizable ML solutions for live and streaming media.

What it solves

MediaPipe は、機械学習モデルをエッジデバイスへカスタマイズしてデプロイするプロセスを簡素化します。Android、iOS、ウェブ、デスクトップ、IoT プラットフォーム向けにオンデバイス AI 機能を構築する複雑さを取り除き、データ処理をデバイス上でローカルに行うことでプライバシーとパフォーマンスを向上させます。

How it works

MediaPipe は主に 2 つの機能層を提供します：

  1. MediaPipe Solutions: ビジョン、テキスト、オーディオの一般的なタスク向けに、すぐに使えるライブラリと事前学習モデルのハイレベルスイートです。Tasks（クロスプラットフォーム API）、Model Maker（独自データでモデルをカスタマイズ）、Studio（ブラウザベースの可視化・ベンチマークツール）を含みます。
  2. MediaPipe Framework: パケット、グラフ、カルキュレータといった概念を用いて、カスタムで効率的なオンデバイス ML パイプラインを構築するためのローレベルコンポーネントです。

Who it’s for

複数プラットフォームにわたって AI 機能をアプリに統合したいが、ML インフラをゼロから構築したくない開発者向けです。

Highlights

  • クロスプラットフォームサポート: Android、iOS、ウェブ、デスクトップ、IoT で動作。
  • オンデバイス処理: 入力データ（画像、動画、テキスト）はローカルで処理され、Google サーバーへ送信されません。
  • マルチモーダル機能: ビジョン、テキスト、オーディオタスク向けのソリューションを提供。
  • カスタマイズツール: 事前学習モデルを特定のデータセットに合わせて調整できる Model Maker を含む。