off-grid-ai/off-grid-ai-mobile

The Swiss Army Knife of Offline AI. Chat, Speak, and Generate Images - Privacy First, Zero Internet. Download an LLM and use it on your mobile device. No data ever leaves your phone. Supports text-to-text, vision, text-to-image

解決的問題

Off Grid AI 提供了一套完整的私密 AI 套件，完全在裝置端執行，無需連接雲端，防止數據離開使用者的手機或 Mac。它解決了注重隱私的使用者在不依賴外部伺服器的情況下，需要存取多模態 AI 能力（文本、圖像、視覺與語音）的問題。

工作原理

該應用程式利用原生硬體加速（如 Snapdragon 上的 NPU 與 iOS 上的 Core ML）以及經過優化的函式庫（如 llama.cpp 與 whisper.cpp）在本地執行模型。它支援用於文本生成的 GGUF 模型與用於圖像生成的 Stable Diffusion。對於知識庫功能，它使用綑綁的 MiniLM 模型進行裝置端嵌入，並使用 SQLite 透過餘弦相似度進行本地儲存與檢索。

適用對象

在 Android、iOS 與 macOS 上使用，並希望擁有一個可以處理多種 AI 模態任務的多功能離線 AI 助手的隱私關注型個人、開發者與使用者。

亮點

多模態能力：支援文本生成 (Llama, Qwen, Phi)、圖像生成 (Stable Diffusion)、視覺 AI (SmolVLM, Qwen-VL) 與語音轉錄 (Whisper)。
裝置端 RAG：包含一個專案知識庫，可以在本地對 PDF 與文本文件進行嵌入與檢索。
工具呼叫：內建用於網路搜尋、計算機以及具備防失控機制的知識庫搜尋工具。
本地伺服器連接：能夠連接到相容 OpenAI 的本地伺服器，如 Ollama 或 LM Studio。
硬體優化：NPU 加速的圖像生成與即時語音轉錄。