off-grid-ai/OGAM

The Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.

解决的问题

Off Grid AI 提供了一套完整的、私密的 AI 套件，可在 Android、iOS 和 macOS 上完全在设备端运行。它消除了对云端 AI 服务的依赖，在提供文本、图像和视觉处理等广泛 AI 能力的同时，确保数据不会离开用户的设备。

工作原理

该应用程序利用原生硬件加速（如 Snapdragon 上的 NPU 和 iOS 上的 Core ML）以及经过优化的库（如 llama.cpp 和 whisper.cpp）在本地运行模型。它支持用于文本生成的 GGUF 模型和用于图像生成的 Stable Diffusion。对于 RAG 功能，它使用捆绑的 MiniLM 模型进行设备端嵌入，并使用 SQLite 进行文档分块的本地存储。

适用人群

重视数据隐私和 AI 工具离线访问的用户，以及希望在移动设备和 Mac 上运行 LLM、视觉模型和图像生成器的开发者。

亮点

多模态能力：支持文本生成 (Llama 3.2, Qwen 3 等)、图像生成 (Stable Diffusion)、视觉 AI (SmolVLM, Qwen3-VL) 和语音转录 (Whisper)。
设备端 RAG：利用设备端嵌入和余弦相似度搜索，为 PDF 和文本文档提供本地知识库。
工具调用：内置用于网络搜索、计算器和知识库访问的工具，并具备运行预防机制。
硬件加速：Snapdragon 上的 NPU 加速图像生成和 iOS 上的 Core ML。
远程 LLM 集成：能够通过 OpenAI 兼容的 API 连接到本地网络服务器（如 Ollama 或 LM Studio）。
Pro 版本：增加设备端文本转语音 (Kokoro)、具有持久记忆的自定义人格，以及为日历、电子邮件和 MCP 服务器起草操作的能力。