qualcomm/GenieX

解決する課題

GenieXは、Qualcomm Snapdragonデバイス上で大規模言語モデル（LLM）や視覚言語モデル（VLM）をローカルで実行するための統一された方法を提供します。NPU、GPU、CPU全体での実行を処理する単一のランタイムを提供することで、異なるハードウェアアクセラレータを管理する複雑さを解消します。

仕組み

GenieXは、C SDKの上に構築された推論エンジンとして機能します。主に2つの実行パスをサポートしています。1つは llama.cpp ランタイムを介してGGUF形式のモデル（Hugging FaceやModelScopeなどのソースから）を実行する方法、もう1つはQualcomm AI Hubからの事前コンパイル済みモデルバンドルを実行してNPU上で最高のパフォーマンスを引き出す方法です。開発者は、コマンドラインインターフェース、Python、Kotlin/Java（Android用）、Docker、またはOpenAI互換のローカルサーバーを通じて、このエンジンとやり取りできます。

対象ユーザー

このプロジェクトは、Windows ARM64 PC、Androidモバイルデバイス、LinuxベースのIoTシステムなど、Qualcomm搭載ハードウェア向けのAIアプリケーションを構築する開発者を対象としています。多様なQualcommチップセット全体で高いパフォーマンスを維持しながら、モデルをローカルにデプロイする必要がある開発者向けに設計されています。

ハイライト

• GGUFファイルや事前コンパイル済みのQualcomm AI Hubバンドルなど、幅広いモデルをサポート。
• 複数のインターフェースを提供：CLI、Python、Android SDK、Docker、OpenAI互換APIサーバー。
• Hexagon NPU、Adreno GPU、CPUでのハードウェアアクセラレーションによる推論が可能。
• Windows、Android、Linuxプラットフォーム間で一貫した開発者体験を提供。
• 提供されるすべての言語バインディングの基盤となるC SDKを同梱。