off-grid-ai/mobile

The Swiss Army Knife of Offline AI. Chat, Speak, and Generate Images - Privacy First, Zero Internet. Download an LLM and use it on your mobile device. No data ever leaves your phone. Supports text-to-text, vision, text-to-image

解決的問題

Off Grid AI 提供了一套完整的私密 AI 套件，完全在裝置上執行，無需雲端連接，防止數據離開使用者的手機或 Mac。它解決了注重隱私的使用者在不依賴外部伺服器的情況下，需要存取多種 AI 能力（文本、圖像、視覺和語音）的問題。

工作原理

該應用程式利用原生硬體加速（Snapdragon 上的 NPU、iOS 上的 Core ML）以及經過優化的函式庫（如 llama.cpp 和 whisper.cpp）在本地執行模型。它支援用於文本生成的 GGUF 模型、用於圖像生成的 Stable Diffusion 以及用於語音轉文字的 Whisper。它還包含一個使用綑綁的 MiniLM 模型和 SQLite 的本地 RAG 系統，用於文件分析和專案知識庫。

適用對象

在 Android、iOS 和 macOS 上使用，希望擁有一個無需數據採集即可處理多模態任務的多功能離線 AI 助手，且注重隱私的個人、開發者和使用者。

亮點

多模態能力：支援文本生成 (Llama 3.2, Phi-4 等)、圖像生成 (Stable Diffusion)、視覺 AI (SmolVLM, Qwen3-VL) 和語音轉錄 (Whisper)。
本地 RAG：在裝置上對 PDF 和文本文件進行嵌入和檢索，用於構建特定專案的知識庫。
工具呼叫：內建用於網路搜尋、計算機和具備 runaway 防止功能的知識庫搜尋工具。
靈活的模型支援：能夠匯入您自己的 .gguf 檔案，或連接到與 OpenAI 相容的本地伺服器（如 Ollama 或 LM Studio）。
隱私至上：數據絕不會離開裝置；包括語音和圖像生成在內的所有處理都在本地 RAM/NPU 中完成。