google-ai-edge/litert-torch
Support PyTorch model conversion with LiteRT.
해결하는 문제
PyTorch 모델을 .tflite 형식으로 변환함으로써 Android, iOS, IoT 애플리케이션에서 모델을 디바이스 내에서 실행할 수 있도록 합니다. 클라우드 기반 추론이 필요 없어지며, CPU, GPU, NPU 하드웨어 가속기에서 로컬로 모델을 실행할 수 있습니다.
작동 방식
이 라이브러리는 torch.export()와 통합되어 있으며, Core ATen 연산자의 광범위한 커버리지를 제공하여 모델을 .tflite 플랫버퍼로 변환합니다. 대규모 언어 모델(LLM) 및 트랜스포머 기반 아키텍처의 경우, LiteRT-LM을 통해 배포 가능한 모바일 최적화 모델을 작성하고 양자화할 수 있는 전용 Generative API를 포함합니다.
대상 사용자
에지 디바이스에 PyTorch로 훈련된 모델을 배포하고자 하며, 다양한 하드웨어 가속기에서 높은 성능을 유지하고 싶은 AI 개발자 및 모바일 엔지니어를 위한 것입니다.
주요 특징
- 광범위한 하드웨어 지원: CPU, GPU, NPU 초기 지원.
- PyTorch 통합:
torch.export()기반으로 원활한 변환 워크플로우 제공. - Generative API: 디바이스 내 LLM 배포를 위한 트랜스포머 모델의 작성 및 양자화에 특화된 도구.
- 크로스플랫폼: Android, iOS, IoT 환경을 타겟으로 합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트