google-ai-edge/mediapipe

Cross-platform, customizable ML solutions for live and streaming media.

What it solves

MediaPipe 은 머신러닝 모델을 엣지 디바이스에 맞춤화하고 배포하는 과정을 단순화합니다. Android, iOS, 웹, 데스크톱 및 IoT 플랫폼용 온디바이스 AI 기능을 구축하는 복잡성을 없애고, 데이터 처리를 디바이스 로컬에서 수행함으로써 프라이버시와 성능을 향상시킵니다.

How it works

MediaPipe 은 두 가지 주요 기능 레이어를 제공합니다:

  1. MediaPipe Solutions: 비전, 텍스트, 오디오 등 일반적인 작업을 위한 즉시 사용 가능한 라이브러리와 사전 학습 모델의 고수준 스위트입니다. 여기에는 Tasks(크로스플랫폼 API), Model Maker(자신의 데이터로 모델 커스터마이징), Studio(브라우저 기반 시각화 및 벤치마크 도구)가 포함됩니다.
  2. MediaPipe Framework: 패킷, 그래프, 계산기와 같은 개념을 사용해 맞춤형이고 효율적인 온디바이스 ML 파이프라인을 구축하기 위한 저수준 컴포넌트입니다.

Who it’s for

여러 플랫폼에 걸쳐 AI 기능을 애플리케이션에 통합하고 싶지만, 머신러닝 인프라를 처음부터 구축하고 싶지 않은 개발자를 위한 것입니다.

Highlights

  • 크로스플랫폼 지원: Android, iOS, 웹, 데스크톱 및 IoT에서 작동합니다.
  • 온디바이스 처리: 입력 데이터(이미지, 비디오, 텍스트)는 로컬에서 처리되며 Google 서버로 전송되지 않습니다.
  • 멀티모달 기능: 비전, 텍스트, 오디오 작업을 위한 솔루션을 제공합니다.
  • 커스터마이징 도구: 사전 학습 모델을 특정 데이터셋에 맞게 조정할 수 있는 Model Maker를 포함합니다.