dineshsoudagar/local-llms-on-android

何を解決するか

Androidデバイス上で完全にオフラインで大規模言語モデル（LLM）を実行する方法を提供し、ユーザーのプライバシーとオフライン利用を保証します。クラウドベースのAIに依存することなく、ユーザーがスマートフォン上でモデルを直接ダウンロード、切り替え、管理できるようにします。

動作方法

アプリは小さなベースAPKを使用し、インストール後に特定のモデルウェイト（例：QwenやGemma）をダウンロードできます。ONNXおよびLiteRTバックエンドを活用して、対応デバイスでのGPUおよびNPUによるハードウェアアクセラレーションを実現し、遅延を低減します。テキスト、音声、画像（OCRまたはネイティブ画像対応）など、複数の入力モダリティをサポートしています。

対象ユーザー

低スペックからフラッグシップまで、さまざまなハードウェア上で動作するプライベートでオフラインのAIアシスタントを必要とするAndroidユーザー。

特徴

• 完全にデバイス内処理：初期モデルダウンロード後、すべての推論、OCR、画像処理がオフラインで行われます。
• 柔軟なモデル管理：ユーザーは複数のモデル（例：Gemma 4、Qwen 3）をダウンロード、切り替え、削除してデバイスストレージを管理できます。
• マルチモーダル入力：音声プロンプト、カメラ撮影（クロッピング対応）、OCRまたはネイティブGemma画像対応による画像入力をサポートします。
• ハードウェア最適化：GPUおよびNPUアクセラレーションにより、速度を向上させ、遅延を低減するためLiteRTを使用しています。
• カスタマイズ可能：編集可能なモデル指示、プリセット、UIテーマ（ダーク/ライトモード）を備えています。