google-ai-edge/litert-samples

LiteRT and LiteRT-LM sample apps, model recipes, agent skills and utilities.

해결하는 문제

LiteRT(이전 TensorFlow Lite) 및 LiteRT-LM을 사용하는 개발자를 위한 포괄적인 참조 구현, 모델 레시피 및 배포 도구 모음을 제공합니다. 원시 머신러닝 모델을 보유한 상태에서 GPU 및 NPU와 같은 하드웨어 가속을 사용하여 기기 내(Android, iOS, Web)에서 효율적으로 배포하는 과정 사이의 간극을 메워줍니다.

작동 방식

이 저장소는 네 가지 주요 기능 영역으로 구성되어 있습니다.

애플리케이션 샘플: 하드웨어 가속을 위한 최신 CompiledModel API, 기존 Interpreter API, LiteRT-LM을 통한 전문적인 LLM 오케스트레이션 등 다양한 API를 시연하는 실행 가능한 앱.
모델 레시피: Hugging Face와 같은 플랫폼의 모델을 최적화된 .litertlm 또는 .tflite 형식으로 변환하는 과정을 안내하는 스크립트 및 "쿡북".
유틸리티: PyTorch 패턴을 LiteRT GPU 델리게이트와 호환되도록 패치하는 등 GPU 최적화를 위한 툴킷.
에이전트 스킬: 변환, 양자화, 기기 내 검증, 앱 스캐폴딩을 포함하여 모델 수명 주기를 처리하는 자동화된 워크플로우.

대상 사용자

고성능 AI 모델(비전, 오디오, LLM)을 최종 사용자 기기에 직접 배포하려는 모바일 및 웹 개발자와 머신러닝 엔지니어.

주요 특징

다양한 모달리티 지원: 스트리밍 텍스트 음성 변환(KittenTTS), 자동 음성 인식(ASR), 텍스트-이미지 확산 모델(Bonsai Image), 멀티모달 앱(PhotoTalk) 샘플 포함.
하드웨어 가속: GPU/NPU 가속 및 제로 복사 버퍼(zero-copy buffers)를 통한 성능 극대화에 중점.
엔드 투 엔드 파이프라인: Hugging Face 체크포인트에서 검증된 기기 내 배포까지의 전체 경로 제공.
대화형 플레이그라운드: 브라우저에서 직접 Tensor API 기능을 테스트할 수 있는 Web/WASM 기반 환경.

google-ai-edge/litert-samples

해결하는 문제

작동 방식

대상 사용자

주요 특징

관련