google-ai-edge/mediapipe

MediaPipe – 온디바이스 ML 파이프라인을 쉽게 구축

개요 – MediaPipe는 Google이 제공하는 오픈소스 프레임워크로, 빠른 온디바이스 머신러닝 파이프라인(그래프라고 함)을 구축하기 위한 것입니다. 손 추적, 포즈 추정, 객체 감지, 텍스트 및 오디오 분류기와 같은 기성 솔루션을 제공하며, 개발자는 이를 Android, iOS, 웹, 데스크톱 또는 기타 엣지 디바이스에 통합할 수 있습니다.

주요 구성 요소

• MediaPipe Framework – 저수준 C++ 라이브러리(Android/iOS 바인딩 포함)로, 계산기를 조립하여 방향 그래프에서 데이터 패킷을 처리할 수 있습니다. 이는 맞춤형 인식 파이프라인의 엔진입니다.
• MediaPipe Tasks – 고수준의 크로스 플랫폼 API(Python, Java, JavaScript, C++)로, 기성 솔루션을 앱에서 호출할 수 있는 간단한 함수로 노출합니다.
• Model Maker – 번들로 제공되는 사전 훈련된 모델을 자체 데이터로 미세 조정하는 도구입니다.
• MediaPipe Studio – 브라우저 기반 시각화 도구로, 그래프를 구축, 디버깅, 벤치마킹하는 데 사용합니다.

중요성 – 모든 추론이 로컬에서 실행되므로 사용자 데이터가 기기를 벗어나지 않으며, 이는 개인정보 보호에 민감한 앱에 중요합니다. 이 프레임워크는 모바일/엣지 하드웨어에 고도로 최적화되어 비전, 오디오, 텍스트 작업에 실시간 성능을 제공합니다.

일반적인 사용 사례

• 화상 회의 앱에서 배경 흐림 또는 가상 배경 추가.
• AR/VR, 수화 인터페이스, 보철 제어를 위한 실시간 손 추적.
• 피트니스, 게임, 모션 캡처를 위한 포즈 추정.
• 로보틱스, 스마트 카메라, 소매를 위한 온디바이스 객체 감지.

시작하기 – 대상 플랫폼(Android, 웹, Python)에 대한 공식 문서의 빠른 시작 가이드를 따르세요. 저장소에는 예제 앱과 레거시 솔루션의 소스 코드도 포함되어 있습니다.

커뮤니티 및 지원 – Slack 채널, Google Group, Stack Overflow 태그, 선별된 "Awesome MediaPipe" 목록이 있습니다.

라이선스 – Apache 2.0 라이선스 하에 오픈소스입니다.