qualcomm/GenieX

해결하는 문제

GenieX는 Qualcomm Snapdragon 장치에서 대규모 언어 모델(LLM) 및 시각 언어 모델(VLM)을 로컬에서 실행하는 통합된 방법을 제공합니다. NPU, GPU 및 CPU 전반의 실행을 처리하는 단일 런타임을 제공함으로써 다양한 하드웨어 가속기를 관리하는 복잡성을 제거합니다.

작동 방식

GenieX는 C SDK 위에 구축된 추론 엔진 역할을 합니다. 두 가지 주요 실행 경로를 지원합니다. llama.cpp 런타임을 통해 GGUF 형식의 모델(Hugging Face 또는 ModelScope 등의 소스에서 제공)을 실행하거나, NPU에서 최고의 성능을 내기 위해 Qualcomm AI Hub에서 제공하는 사전 컴파일된 모델 번들을 실행할 수 있습니다. 개발자는 명령줄 인터페이스, Python, Kotlin/Java(Android용), Docker 또는 OpenAI 호환 로컬 서버를 통해 이 엔진과 상호 작용할 수 있습니다.

대상 사용자

이 프로젝트는 Windows ARM64 PC, Android 모바일 장치 및 Linux 기반 IoT 시스템을 포함하여 Qualcomm 기반 하드웨어용 AI 애플리케이션을 구축하는 개발자를 위한 것입니다. 다양한 Qualcomm 칩셋 전반에서 고성능을 유지하면서 모델을 로컬에 배포해야 하는 개발자를 위해 설계되었습니다.

주요 특징

• GGUF 파일 및 사전 컴파일된 Qualcomm AI Hub 번들을 포함한 광범위한 모델 지원.
• 다중 인터페이스 제공: CLI, Python, Android SDK, Docker 및 OpenAI 호환 API 서버.
• Hexagon NPU, Adreno GPU 및 CPU에서 하드웨어 가속 추론 가능.
• Windows, Android 및 Linux 플랫폼 전반에서 일관된 개발자 경험 제공.
• 제공되는 모든 언어 바인딩의 기반이 되는 C SDK 포함.