off-grid-ai/OGAM

The Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.

解決的問題

Off Grid AI 提供了一套完整的、私密的 AI 套件，可在 Android、iOS 與 macOS 上完全在裝置端執行。它消除了對雲端 AI 服務的依賴，在提供文本、圖像與視覺處理等廣泛 AI 能力的同時，確保數據不會離開使用者的裝置。

工作原理

該應用程式利用原生硬體加速（如 Snapdragon 上的 NPU 與 iOS 上的 Core ML）以及經過優化的函式庫（如 llama.cpp 與 whisper.cpp）在本地執行模型。它支援用於文本生成的 GGUF 模型與用於圖像生成的 Stable Diffusion。對於 RAG 功能，它使用綑綁的 MiniLM 模型進行裝置端嵌入，並使用 SQLite 進行文件分塊的本地儲存。

適用對象

重視數據隱私與 AI 工具離線存取的使用者，以及希望在行動裝置與 Mac 上執行 LLM、視覺模型與圖像生成器的開發者。

亮點

多模態能力：支援文本生成 (Llama 3.2, Qwen 3 等)、圖像生成 (Stable Diffusion)、視覺 AI (SmolVLM, Qwen3-VL) 與語音轉錄 (Whisper)。
裝置端 RAG：利用裝置端嵌入與餘弦相似度搜尋，為 PDF 與文本文件提供本地知識庫。
工具呼叫：內建用於網路搜尋、計算機與知識庫存取的工具，並具備失控預防機制。
硬體加速：Snapdragon 上的 NPU 加速圖像生成與 iOS 上的 Core ML。
遠端 LLM 整合：能夠透過 OpenAI 相容的 API 連接到本地網路伺服器（如 Ollama 或 LM Studio）。
Pro 版本：增加裝置端文字轉語音 (Kokoro)、具備持久記憶的自定義人格，以及為日曆、電子郵件與 MCP 伺服器起草操作的能力。