dineshsoudagar/local-llms-on-android

解決的問題

提供在 Android 裝置上完全離線運行大型語言模型（LLM）的方法，確保使用者隱私與離線可用性。消除對雲端 AI 的依賴，讓使用者可直接在手機上下載、切換與管理模型。

運作方式

應用使用小型基礎 APK，安裝後使用者可下載特定模型權重（如 Qwen 和 Gemma）。利用 ONNX 與 LiteRT 後端，透過支援裝置上的 GPU 與 NPU 實現硬體加速，降低延遲。支援多種輸入模態，包括文字、語音與影像（透過 OCR 或原生影像支援）。

適用對象

希望擁有可在各種硬體上運行（從低階到旗艦級行動裝置）的私密、離線 AI 助手的 Android 使用者。

主要特色

• 完全在裝置內運作：初始模型下載後，所有推論、OCR 與影像處理均在離線狀態下完成。
• 彈性模型管理：使用者可下載、切換與刪除多個模型（如 Gemma 4、Qwen 3），以管理裝置儲存空間。
• 多模態輸入：支援語音提示、帶裁切功能的相機拍攝，以及透過 OCR 或原生 Gemma 影像支援的影像輸入。
• 硬體最佳化：使用 LiteRT 實現 GPU 與 NPU 加速，提升速度並減少延遲。
• 可自訂：包含可編輯的模型指令、預設與 UI 主題（深色／淺色模式）。