off-grid-ai/mobile

The Swiss Army Knife of Offline AI. Chat, Speak, and Generate Images - Privacy First, Zero Internet. Download an LLM and use it on your mobile device. No data ever leaves your phone. Supports text-to-text, vision, text-to-image

解决的问题

Off Grid AI 提供了一套完整的私密 AI 套件，完全在设备上运行，无需云端连接，防止数据离开用户的手机或 Mac。它解决了注重隐私的用户在不依赖外部服务器的情况下，需要访问多种 AI 能力（文本、图像、视觉和语音）的问题。

工作原理

该应用程序利用原生硬件加速（Snapdragon 上的 NPU、iOS 上的 Core ML）以及经过优化的库（如 llama.cpp 和 whisper.cpp）在本地运行模型。它支持用于文本生成的 GGUF 模型、用于图像生成的 Stable Diffusion 以及用于语音转文本的 Whisper。它还包含一个使用捆绑的 MiniLM 模型和 SQLite 的本地 RAG 系统，用于文档分析和项目知识库。

适用对象

在 Android、iOS 和 macOS 上使用，希望拥有一个无需数据采集即可处理多模态任务的多功能离线 AI 助手，且注重隐私的个人、开发者和用户。

亮点

多模态能力：支持文本生成 (Llama 3.2, Phi-4 等)、图像生成 (Stable Diffusion)、视觉 AI (SmolVLM, Qwen3-VL) 和语音转录 (Whisper)。
本地 RAG：在设备上对 PDF 和文本文档进行嵌入和检索，用于构建特定项目的知识库。
工具调用：内置用于网络搜索、计算器和具有 runaway 防止功能的知识库搜索工具。
灵活的模型支持：能够导入您自己的 .gguf 文件，或连接到与 OpenAI 兼容的本地服务器（如 Ollama 或 LM Studio）。
隐私至上：数据绝不会离开设备；包括语音和图像生成在内的所有处理都在本地 RAM/NPU 中完成。