google-ai-edge/mediapipe

Cross-platform, customizable ML solutions for live and streaming media.

What it solves

MediaPipe 簡化了自訂與部署機器學習模型到邊緣裝置的流程。它消除在行動（Android、iOS）、網頁、桌面與物聯網平台上構建裝置端 AI 功能的複雜性，確保資料處理在裝置本地完成，以提升隱私與效能。

How it works

MediaPipe 提供兩個主要功能層級：

  1. MediaPipe Solutions：一套高階、即用即部署的函式庫與預訓練模型，涵蓋視覺、文字與音訊等常見任務。內含 Tasks（跨平台 API）、Model Maker（使用自有資料自訂模型）與 Studio（基於瀏覽器的視覺化與效能基準測試工具）。
  2. MediaPipe Framework：低階元件，用於以 Packet、Graph、Calculator 等概念建構自訂且高效的裝置端 ML 管線。

Who it’s for

想在多平台應用中整合 AI 功能，且不想從頭自行建置機器學習基礎設施的開發者。

Highlights

  • 跨平台支援：支援 Android、iOS、網頁、桌面與物聯網。
  • 裝置端處理：輸入資料（影像、影片、文字）在本機處理，不會傳送至 Google 伺服器。
  • 多模態能力：提供視覺、文字與音訊任務的解決方案。
  • 自訂工具：包含 Model Maker，可將預訓練模型調整至特定資料集。