google-ai-edge/LiteRT-LM

해결 과제

LiteRT-LM은 기기 내(on-device)에서 대규모 언어 모델(LLM)을 실행하도록 설계된 프로덕션급 오케스트레이션 계층입니다. 클라우드 인프라에 의존하지 않고 모바일 기기, 웨어러블, 데스크톱 환경 등 다양한 하드웨어 플랫폼에서 고성능 AI를 실행하는 문제를 해결합니다.

작동 방식

GPU 및 NPU를 통한 하드웨어 가속을 활용하여 성능을 극대화하는 크로스 플랫폼 실행 환경을 제공합니다. 이 시스템은 다양한 모델(Gemma, Llama, Phi-4, Qwen 등)을 지원하며 Python, Kotlin, Swift, JavaScript, C++를 포함한 여러 언어용 API를 제공합니다.

대상 사용자

Android, iOS, Web, 데스크톱 및 IoT 기기(예: Raspberry Pi)용 기기 내 GenAI 경험을 구축하는 개발자와 Chrome 및 Chromebook Plus와 같은 제품에 AI를 통합하는 개발자를 위한 솔루션입니다.

주요 특징

• 크로스 플랫폼 지원: Android, iOS, Web, 데스크톱 및 IoT에서 작동합니다.
• 하드웨어 가속: GPU 및 NPU 가속기에 최적화되어 최고의 성능을 제공합니다.
• 멀티모달: 텍스트 외에도 시각 및 오디오 입력을 지원합니다.
• 도구 사용: 에이전트 워크플로우를 위한 함수 호출(function calling) 지원이 포함되어 있습니다.
• 광범위한 모델 지원: Gemma, Llama, Phi-4, Qwen과 같은 인기 모델과 호환됩니다.
• 개발자 도구: 빠른 모델 가져오기를 위한 CLI와 OpenAI 호환 임베딩(embeddings) 엔드포인트가 포함되어 있습니다.