dineshsoudagar/local-llms-on-android

解决的问题

Pocket LLM 允许用户在 Android 设备上完全离线运行大型语言模型（LLM），确保隐私和可访问性，无需依赖云服务。它还能将手机转变为本地 AI 服务器，使同一家庭网络中的其他设备可通过 Web UI 或 OpenAI 兼容 API 访问。

工作原理

该应用使用 ONNX 和 LiteRT 后端在设备上执行模型，利用 GPU 和 NPU 加速以提升性能。用户可以下载内置模型（如 Gemma 4 或 Qwen）或导入自己的 .litertlm 文件。在文档处理方面，使用 BM25 检索实现类似 RAG 的问答，并通过设备端 OCR 处理扫描的 PDF。音频处理则通过原生模型理解或使用多语言 Whisper 作为回退方案进行转录。

适用人群

注重隐私的用户、AI 爱好者以及希望拥有便携式、离线 AI 助手或家庭网络中低功耗本地推理服务器的开发者。

主要亮点

• 本地 LAN 服务器：通过密码保护的 Web UI 或 OpenAI 兼容 API 向其他设备提供模型服务。
• 多模态能力：支持文本、图像（OCR 和原生视觉）、音频（原生理解与 Whisper 转录）。
• 文档智能：可附加 PDF 和文本文件，使用 BM25 检索进行摘要或针对性提问。
• 灵活的模型支持：内置 Gemma 4、Qwen3、DeepSeek R1 等模型，支持自定义 .litertlm 文件导入（Beta）。
• 隐私优先：所有推理和数据均保留在设备上，无任何遥测数据。