qualcomm/GenieX

解决的问题

GenieX 提供了一种在 Qualcomm Snapdragon 设备上本地运行大语言模型 (LLM) 和视觉语言模型 (VLM) 的统一方法。它通过提供一个处理 NPU、GPU 和 CPU 执行的单一运行时，消除了管理不同硬件加速器的复杂性。

工作原理

GenieX 作为一个构建在 C SDK 之上的推理引擎。它支持两条主要的执行路径：可以通过 llama.cpp 运行时运行 GGUF 格式的模型（来自 Hugging Face 或 ModelScope 等来源），或者运行来自 Qualcomm AI Hub 的预编译模型包，以在 NPU 上实现峰值性能。开发者可以通过命令行界面、Python、Kotlin/Java（针对 Android）、Docker 或兼容 OpenAI 的本地服务器与此引擎进行交互。

适用人群

该项目面向为 Qualcomm 硬件构建 AI 应用的开发者，包括 Windows ARM64 PC、Android 移动设备和基于 Linux 的 IoT 系统。它专为那些需要在本地部署模型，同时在各种 Qualcomm 芯片组上保持高性能的开发者而设计。

亮点

• 支持多种模型，包括 GGUF 文件和预编译的 Qualcomm AI Hub 模型包。
• 提供多种接口：CLI、Python、Android SDK、Docker 以及兼容 OpenAI 的 API 服务器。
• 支持在 Hexagon NPU、Adreno GPU 和 CPU 上进行硬件加速推理。
• 在 Windows、Android 和 Linux 平台上提供一致的开发体验。
• 包含一个 C SDK，作为所有提供的语言绑定的基础。