OGAM: 一款專注於隱私的行動裝置與 Mac 離線 AI 套件,提供文字、圖像與視覺能力
OGAM: 一款專注於隱私的行動裝置與 Mac 離線 AI 套件,提供文字、圖像與視覺能力
它解決了什麼問題
Off Grid AI 為行動裝置 (Android, iOS) 與 macOS 提供了一套完整且完全離線的 AI 套件,確保任何數據都不會離開裝置。它消除了對雲端 AI 服務的依賴,在裝置上提供以隱私為核心的文字生成、圖像創作與視覺分析。
運作原理
該應用程式利用原生硬體加速 (Snapdragon 上的 NPU, iOS 上的 Core ML) 以及優化過的函式庫如 llama.cpp, whisper.cpp, 與 MNN 來在本地執行模型。它支援用於文字的 GGUF 模型、用於圖像的 Stable Diffusion,以及用於語音轉文字的 Whisper。它還包含一個使用內建 MiniLM 模型與 SQLite 的本地 RAG 系統,用於文件分析。
對象是誰
重視數據隱私與 AI 工具離線存取的使用者,以及希望在個人硬體上執行各種開源 LLMs 與視覺模型的開發者。
重點功能
- 多模態能力:支援文字生成 (Llama, Qwen, Phi)、圖像生成 (Stable Diffusion),以及視覺 AI (SmolVLM, Qwen-VL)。
- 裝置端 RAG:使用嵌入 (embeddings) 與餘弦相似度 (cosine similarity) 為 PDF 與文字文件建立的本地知識庫。
- 工具呼叫 (Tool Calling):內建用於網頁搜尋、計算機與知識庫搜尋的工具,並具備防止失控 (runaway prevention) 的機制。
- 靈活的模型支援:能夠自行攜帶
.gguf檔案,或連接到本地網路上的遠端 OpenAI-compatible 伺服器。 - 裝置端語音:即時的 Whisper 語音轉文字,以及 (在 Pro 版本中) 的 Kokoro 文字轉語音。
- 跨平台:在 Android, iOS 與 Apple Silicon Macs 上皆具備原生效能。
Sources
- undefinedoff-grid-ai/OGAM