mobile: 一套用於裝置端文字、圖像與視覺生成的完整離線 AI 套件

mobile: 一套用於裝置端文字、圖像與視覺生成的完整離線 AI 套件

它解決了什麼問題

Off Grid 提供了一套完整的、私密的 AI 套件,完全在裝置端運行,消除了對雲端連線的需求,並防止數據離開使用者的硬體。它將手機或 Mac 轉變為一個獨立的文字、圖像與視覺任務 AI 工作站。

運作原理

該應用程式利用原生硬體加速(Snapdragon 上的 NPU,iOS 上的 Core ML)以及優化的函式庫(如 llama.cpp 和 whisper.cpp)來在本地運行模型。它支援廣泛的 GGUF 模型用於文字生成,Stable Diffusion 用於圖像生成,以及 SmolVLM/Qwen3-VL 用於視覺 AI。它還包含一個裝置端 RAG 系統,使用內建的 MiniLM 模型進行嵌入(embedding),並使用 SQLite 進行本地儲存。

對象是誰

重視數據隱私的使用者、在離線環境下工作的人員,以及希望在行動裝置或 Apple Silicon Macs 上運行多樣化多模態 AI 模型的人工智能愛好者。

重點功能

  • 多模態能力:在一個應用程式中結合了文字生成、圖像生成、Stable Diffusion 和視覺 AI。
  • 裝置端 RAG:使用 PDF 和文字檔進行本地文件分析與知識庫搜尋。
  • 工具呼叫 (Tool Calling):內建用於網頁搜尋、計算機和裝置資訊的工具,並具備自動工具迴圈。
  • 裝置端語音:由 Whisper 提供支援的語音轉文字轉錄,完全在離線狀態下進行。
  • 彈性的模型支援:支援 Qwen、Llama 和 Gemma 模型,以及自定義的 .gguf 檔案和遠端 OpenAI-compatible 伺服器。

Sources