off-grid-ai/off-grid-ai-mobile

The Swiss Army Knife of Offline AI. Chat, Speak, and Generate Images - Privacy First, Zero Internet. Download an LLM and use it on your mobile device. No data ever leaves your phone. Supports text-to-text, vision, text-to-image

解决的问题

Off Grid AI 提供了一套完整的私密 AI 套件，完全在设备端运行，无需连接云端，防止数据离开用户的手机或 Mac。它解决了注重隐私的用户在不依赖外部服务器的情况下，需要访问多模态 AI 能力（文本、图像、视觉和语音）的问题。

工作原理

该应用程序利用原生硬件加速（如 Snapdragon 上的 NPU 和 iOS 上的 Core ML）以及经过优化的库（如 llama.cpp 和 whisper.cpp）在本地运行模型。它支持用于文本生成的 GGUF 模型和用于图像生成的 Stable Diffusion。对于知识库功能，它使用捆绑的 MiniLM 模型进行设备端嵌入，并使用 SQLite 通过余弦相似度进行本地存储和检索。

适用对象

在 Android、iOS 和 macOS 上使用，并希望拥有一个可以处理多种 AI 模态任务的多功能离线 AI 助手的隐私关注型个人、开发者和用户。

亮点

多模态能力：支持文本生成 (Llama, Qwen, Phi)、图像生成 (Stable Diffusion)、视觉 AI (SmolVLM, Qwen-VL) 和语音转录 (Whisper)。
设备端 RAG：包含一个项目知识库，可以在本地对 PDF 和文本文档进行嵌入和检索。
工具调用：内置用于网络搜索、计算器以及带有防失控机制的知识库搜索工具。
本地服务器连接：能够连接到兼容 OpenAI 的本地服务器，如 Ollama 或 LM Studio。
硬件优化：NPU 加速的图像生成和实时语音转录。