google-ai-edge/mediapipe

Cross-platform, customizable ML solutions for live and streaming media.

What it solves

MediaPipe 简化了自定义和部署机器学习模型到边缘设备的过程。它消除在移动（Android、iOS）、网页、桌面和物联网平台上构建设备端 AI 功能的复杂性，确保数据处理在设备本地完成，以提升隐私和性能。

How it works

MediaPipe 提供两个主要功能层级：

  1. MediaPipe Solutions：一套高级、即用即部署的库和预训练模型，覆盖视觉、文本和音频等常见任务。包括 Tasks（跨平台 API）、Model Maker（使用自有数据定制模型）和 Studio（基于浏览器的可视化与基准测试工具）。
  2. MediaPipe Framework：低层组件，用于以 Packet、Graph、Calculator 等概念构建自定义且高效的设备端 ML 流水线。

Who it’s for

想在多平台应用中集成 AI 功能，且不想从头自行搭建机器学习基础设施的开发者。

Highlights

  • 跨平台支持：支持 Android、iOS、网页、桌面和物联网。
  • 设备端处理：输入数据（图像、视频、文本）在本地处理，不会发送到 Google 服务器。
  • 多模态能力：提供视觉、文本和音频任务的解决方案。
  • 定制工具：包含 Model Maker，可将预训练模型调优至特定数据集。