google-ai-edge/litert-samples

해결하는 문제

이 저장소는 LiteRT(이전 TensorFlow Lite) 및 LiteRT-LM을 위한 샘플 애플리케이션, 모델 레시피 및 배포 도구의 포괄적인 컬렉션을 제공합니다. 개발자가 머신러닝 모델을 Android, iOS, Python 및 Web/WASM 플랫폼에서 훈련에서 온디바이스 실행으로 전환하는 것을 지원하며, 특히 하드웨어 가속(GPU/NPU) 및 효율성 극대화에 초점을 맞춥니다.

작동 방식

프로젝트는 네 가지 주요 영역으로 구성됩니다:

• Application Samples: 하드웨어 가속을 위한 최신 CompiledModel API, 레거시 Interpreter API 및 LLM을 위한 전문 오케스트레이션 레이어(LiteRT-LM)를 포함하여 다양한 API 패러다임을 보여주는 실행 가능한 앱.
• Model Recipes: 모델을 LiteRT 형식으로 변환하고 내보내기 위한 스크립트 및 파이프라인.
• Utilities: 공유 헬퍼 스크립트 및 PyTorch 패턴을 LiteRT GPU delegate에 최적화하는 GPU 툴킷.
• Agent Skills: 변환, 양자화, 온디바이스 검증 및 앱 스캐폴딩을 다루며 모델의 배포 수명 주기를 안내하는 자동화된 "기술(skills)" 세트.

대상 사용자

Google의 에지 AI 프레임워크를 사용하여 음성 인식, 텍스트 음성 변환(TTS), 이미지 생성 및 LLM을 구현하는 방법에 대한 실질적인 예시가 필요한 모바일 기기(Android/iOS) 및 웹 브라우저용 온디바이스 AI 애플리케이션을 구축하는 개발자.

주요 특징

• 다양한 모달리티: 스트리밍 TTS, ASR, 멀티모달 비전-오디오-텍스트 앱 및 텍스트-이미지 확산(diffusion) 샘플 포함.
• LMM/LLM 지원: LiteRT-LM를 통해 대규모 언어 모델을 실행하기 위한 전문 샘플.
• 하드웨어 최적화: GPU 변환 툴킷 및 NPU JIT 가속을 포함한 GPU/NPU 가속 도구.
• 배포 수명 주기 자동화: 정확도 안전 양자화 및 온디바이스 검증을 위한 에이전트 기반 기술.