dineshsoudagar/local-llms-on-android

解决的问题

该应用提供了一种在 Android 设备上完全离线运行大型语言模型（LLM）的方法，确保用户隐私和离线可用性。它消除了对云 AI 的依赖，允许用户直接在手机上下载、切换和管理模型。

工作原理

应用使用一个小型基础 APK，安装后用户可下载特定模型权重（如 Qwen 和 Gemma）。它利用 ONNX 和 LiteRT 后端，通过支持设备上的 GPU 和 NPU 实现硬件加速，降低延迟。支持多种输入模态，包括文本、语音和图像（通过 OCR 或原生图像支持）。

适用人群

希望拥有一个可在各种硬件上运行（从低端到旗舰级移动设备）的私密、离线 AI 助手的 Android 用户。

主要亮点

• 完全本地运行：初始模型下载后，所有推理、OCR 和图像处理均在离线状态下完成。
• 灵活的模型管理：用户可下载、切换和删除多个模型（如 Gemma 4、Qwen 3），以管理设备存储空间。
• 多模态输入：支持语音提示、带裁剪功能的相机拍摄，以及通过 OCR 或原生 Gemma 图像支持的图像输入。
• 硬件优化：使用 LiteRT 实现 GPU 和 NPU 加速，提升速度并减少延迟。
• 可自定义：包含可编辑的模型指令、预设和 UI 主题（深色/浅色模式）。