OGAM: 一款專注於隱私的行動裝置與 Mac 離線 AI 套件,提供文字、圖像與視覺能力

OGAM: 一款專注於隱私的行動裝置與 Mac 離線 AI 套件,提供文字、圖像與視覺能力

它解決了什麼問題

Off Grid AI 為行動裝置 (Android, iOS) 與 macOS 提供了一套完整且完全離線的 AI 套件,確保任何數據都不會離開裝置。它消除了對雲端 AI 服務的依賴,在裝置上提供以隱私為核心的文字生成、圖像創作與視覺分析。

運作原理

該應用程式利用原生硬體加速 (Snapdragon 上的 NPU, iOS 上的 Core ML) 以及優化過的函式庫如 llama.cpp, whisper.cpp, 與 MNN 來在本地執行模型。它支援用於文字的 GGUF 模型、用於圖像的 Stable Diffusion,以及用於語音轉文字的 Whisper。它還包含一個使用內建 MiniLM 模型與 SQLite 的本地 RAG 系統,用於文件分析。

對象是誰

重視數據隱私與 AI 工具離線存取的使用者,以及希望在個人硬體上執行各種開源 LLMs 與視覺模型的開發者。

重點功能

  • 多模態能力:支援文字生成 (Llama, Qwen, Phi)、圖像生成 (Stable Diffusion),以及視覺 AI (SmolVLM, Qwen-VL)。
  • 裝置端 RAG:使用嵌入 (embeddings) 與餘弦相似度 (cosine similarity) 為 PDF 與文字文件建立的本地知識庫。
  • 工具呼叫 (Tool Calling):內建用於網頁搜尋、計算機與知識庫搜尋的工具,並具備防止失控 (runaway prevention) 的機制。
  • 靈活的模型支援:能夠自行攜帶 .gguf 檔案,或連接到本地網路上的遠端 OpenAI-compatible 伺服器。
  • 裝置端語音:即時的 Whisper 語音轉文字,以及 (在 Pro 版本中) 的 Kokoro 文字轉語音。
  • 跨平台:在 Android, iOS 與 Apple Silicon Macs 上皆具備原生效能。

Sources