off-grid-ai-mobile: 一款為行動裝置與 Mac 提供裝置端文字、圖像與視覺能力的全面性離線 AI 套件

它解決了什麼問題

Off Grid 是一款針對行動裝置與 macOS 的全面性離線 AI 套件，允許使用者在不需要網路連接或將數據傳送到雲端的狀況下，於本地端執行強大的 AI 模型。它透過確保所有處理過程都在裝置端完成，消除了與雲端 AI 相關的隱私疑慮。

運作原理

此應用程式利用原生硬體加速（NPU, Core ML）以及優化的函式庫（如 llama.cpp 與 whisper.cpp）來於本地端執行各種 AI 模型。它支援文字生成（GGUF 模型）、圖像生成（Stable Diffusion）、視覺 AI（VLM）以及語音轉文字（Whisper），並將所有功能整合進單一介面中。它也允許連接到遠端 LLM 伺服器（例如 Ollama），以滿足偏好區域網路設定的使用者。

適合對象

重視隱私的使用者、開發者，以及任何希望在手機或 Mac 上擁有完全離線運作的 AI 助手的人。

重點功能

• 多模態能力：支援文字、圖像生成、視覺 AI 與語音轉錄。
• 裝置端 RAG：包含一個專案知識庫，可使用 MiniLM 模型與 SQLite 在本地端進行 PDF 與文字文件的嵌入與檢索。
• 工具呼叫 (Tool Calling)：內建用於網頁搜尋、計算機與知識庫搜尋的工具，並具備防止失控 (runaway prevention) 的機制。
• NPU 加速的圖像生成：即時預覽並支援超過 20 種 Stable Diffusion 模型。
• 廣泛的模型支援：相容於 Qwen、Llama、Gemma 與 Phi 模型，以及自定義的 .gguf 檔案。