qualcomm/GenieX

Run frontier LLMs and VLMs locally on Qualcomm devices across NPU, GPU, and CPU with a few lines of code

What it solves

GenieX は、Qualcomm Snapdragon デバイス上で最先端の大規模言語モデル（LLM）およびビジョン言語モデル（VLM）をローカルで実行するプロセスを簡素化します。Hexagon NPU、Adreno GPU、CPU のいずれかを活用できる統一インターフェースを提供することで、特定ハードウェア向けの複雑な実装を排除します。

How it works

GenieX は推論ランタイムとして機能し、2 つの異なるバックエンドをラップします：Hugging Face の GGUF モデルに広く対応する llama.cpp と、Qualcomm AI Hub から提供される最適化済みの事前コンパイルバンドルを利用する Qualcomm AI Engine Direct（qairt）。単一の C SDK を提供し、CLI、Python ライブラリ、Android 用 Kotlin/Java、Docker、OpenAI 互換サーバーなど、複数のハイレベルインターフェースで利用可能です。

Who it’s for

Windows ARM64（Snapdragon X/X Elite）、Android（Snapdragon 8 Elite）、Linux ARM64（IoT）デバイス向けに AI アプリケーションを構築し、ローカルでモデルを実行したいが低レベルハードウェアコードを書きたくない開発者向けです。

Highlights

Multi-Backend Support：柔軟性のための GGUF モデルと、NPU の最高性能を引き出す事前コンパイルバンドルを切り替え可能。
Broad Interface Options：Python（Hugging Face transformers と同様）、CLI、Android SDK、または即座に使用できる OpenAI 互換 API サーバーでアクセス可能。
Cross-Platform：Windows ARM64、Android、Linux ARM64 をサポート。
Hardware Acceleration：Hexagon NPU、Adreno GPU、CPU へ直接アクセス。