off-grid-ai/OGAM

解決的問題

Off Grid AI 為 Android、iOS 與 macOS 提供一個完全在裝置上運行的私密 AI 套件。它消除了對雲端 AI 服務的需求，確保零資料離開裝置，從而解決 AI 工具所面臨的資料隱私與網路連線需求問題。

如何運作

此應用程式利用原生硬體加速（Adreno GPU 透過 OpenCL、Apple Silicon Metal、Snapdragon Hexagon NPU）來執行多種本地模型。它使用 llama.cpp 與 whisper.cpp 處理文字與語音，使用 Core ML 或 NPU 加速的 Stable Diffusion 處理影像。它包含一個模型管理器以處理有限的裝置記憶體，並使用內建的 MiniLM 模型進行嵌入的本地 SQLite 基底 RAG 系統，用於文件分析。

適用對象

重視資料隱私的使用者、需要在無網路環境下使用 AI 功能的使用者，以及希望在行動裝置或 Mac 上執行各種 GGUF 模型與視覺語言模型的開發者或愛好者。

主要亮點

• 多模態功能：支援文字生成（Llama、Qwen、Phi）、影像生成（Stable Diffusion）、視覺 AI（SmolVLM、Qwen-VL）與語音轉錄（Whisper）。
• 本地 RAG：透過專案知識庫對 PDF 與文字檔案進行本地分塊與嵌入，實現裝置上的文件分析。
• 硬體加速：自動偵測並使用 GPU/NPU，在旗艦裝置上實現更快的推論速度。
• 工具呼叫：內建網路搜尋、計算機與知識庫搜尋工具，並具備防止資源濫用的機制。
• 遠端伺服器支援：可連接到 Ollama 或 LM Studio 等相容 OpenAI 的本地伺服器。
• 記憶體管理：支援 Lean、Balanced 與 Aggressive 加載策略，對 RAM 使用進行細緻控制。