google-ai-edge/LiteRT

LiteRT, successor to TensorFlow Lite. is Google's On-device framework for high-performance ML & GenAI deployment on edge platforms, via efficient conversion, runtime, and optimization

📚 LiteRT란 무엇인가요?

LiteRT는 엣지 하드웨어(휴대폰, 노트북, 브라우저, IoT 기기 등)에서 머신러닝 및 생성형 AI 모델을 실행하기 위한 Google의 온디바이스 런타임입니다. TensorFlow Lite의 후속 제품으로, 최적의 가속기(CPU, GPU, NPU, WebGPU 등)를 자동으로 선택하고 비동기 실행을 지원하는 통합 C++/Kotlin/JS API를 제공합니다.

🚀 핵심 기능

기능	의미
Compiled Model API	모델 파일(`.tflite` 또는 `.litertlm`)을 로드하고 단일 호출로 추론을 실행합니다. 수동으로 델리게이트를 연결할 필요가 없습니다. LiteRT가 최적의 가속기를 선택합니다.
통합 NPU 지원	Google, Qualcomm, MediaTek, Intel, Broadcom 등의 NPU에서 작동하는 단일 API를 통해 한 번 작성한 코드로 여러 기기에서 실행할 수 있습니다.
ML Drift를 통한 GPU 가속	새로운 버퍼 상호 운용 레이어를 사용하여 GPU 지연 시간을 최소화하며, 이는 생성형 AI 워크로드에 특히 유용합니다.
웹 추론	LiteRT.js를 통해 WebGPU와 WebAssembly를 사용하여 브라우저 내에서 모델을 실행할 수 있으며, 서버 없이 클라이언트 측 AI를 구현할 수 있습니다.
C++ Tensor API	C++에서 직접 그래프를 구축하고 조작하기 위한 경량 텐서 중심 라이브러리입니다.
CLI 도구	`litert` 명령줄 유틸리티는 코딩 에이전트 워크플로우(모델 변환, 양자화, 벤치마킹 등)를 지원합니다.

🛠 시작하기

CLI 설치(Python 3.13 필요):

uv venv --clear --python=3.13 --seed
source .venv/bin/activate
uv pip install litert-cli-nightly
litert --help

플랫폼 선택 – Android, iOS, Linux, macOS, Windows, Web 또는 IoT. README에 각 플랫폼에서 지원되는 가속기가 나열되어 있습니다.
모델 변환
- PyTorch → LiteRT: LiteRT Torch Converter (litert-torch)를 사용합니다.
- 생성형 모델(LLM, 확산 모델)의 경우 LiteRT-LM 라이브러리를 통해 .litertlm으로 내보냅니다.
추론 실행: 앱 언어(C++, Kotlin, Swift, JavaScript, Python)에서 Compiled Model API를 사용하여 실행합니다.
선택 사항 – litert-samples 저장소에서 샘플 앱(이미지 세분화, 음성 인식)을 탐색하여 즉시 사용 가능한 코드를 확인하세요.

📦 생태계 및 관련 프로젝트

프로젝트	역할
LiteRT-Torch	PyTorch 모델용 변환기 및 생성형 API.
LiteRT-LM	온디바이스 LLM 추론에 특화된 런타임.
LiteRT.js	웹 중심 런타임 (WebGPU + WASM).
AI-Edge Quantizer	LiteRT에 모델을 공급하기 전 고급 양자화.
MediaPipe	LiteRT 모델을 사용할 수 있는 미디어 중심 파이프라인 구축을 위한 보완 프레임워크.
XNNPACK	내부적으로 사용되는 저수준 CPU 연산자 라이브러리.

🎯 LiteRT를 사용해야 하는 대상

모바일 개발자: Android와 iOS에서 작동하고 GPU/NPU를 자동으로 활용하는 단일 API를 원하는 분.
엣지 AI 엔지니어: Linux, Windows 또는 IoT 보드(Raspberry Pi)를 타겟팅하며 높은 처리량의 추론이 필요한 분.
웹 개발자: WebGPU를 사용하여 클라이언트 측에서 ML 모델을 실행하려는 분.
생성형 AI 실무자: 클라우드 백엔드 없이 로컬에서 양자화된 LLM이나 확산 모델을 실행하려는 분.
도구 제작자 / 코딩 에이전트: 모델 변환, 벤치마킹 및 배포 자동화를 위한 CLI가 필요한 분.

📚 더 알아보기

문서 포털: https://ai.google.dev/edge/litert
마이그레이션 가이드 (TensorFlow Lite → LiteRT): https://ai.google.dev/edge/litert/migration
샘플 앱 및 Colab: https://github.com/google-ai-edge/litert-samples
커뮤니티: GitHub Issues, Discussions 및 Hugging Face LiteRT 모델 허브.

🛡 라이선스 및 기여

LiteRT는 Apache-2.0 라이선스로 릴리스됩니다. 일반적인 pull-request 워크플로우를 통한 기여를 환영합니다. 자세한 내용은 CONTRIBUTING.md를 참조하세요.