off-grid-ai/OGAM

解决的问题

Off Grid AI 为 Android、iOS 和 macOS 提供一个完全在设备上运行的私有 AI 套件。它消除了对云 AI 服务的需求，确保零数据离开设备，从而解决了 AI 工具面临的数据隐私和网络连接要求问题。

如何工作

该应用程序利用原生硬件加速（Adreno GPU 通过 OpenCL，Apple Silicon Metal，Snapdragon Hexagon NPU）来运行多种本地模型。它使用 llama.cpp 和 whisper.cpp 处理文本和语音，使用 Core ML 或 NPU 加速的 Stable Diffusion 处理图像。它包含一个模型管理器以处理有限的设备内存，并使用捆绑的 MiniLM 模型进行嵌入的本地 SQLite 基 RAG 系统，用于文档分析。

适用人群

重视数据隐私的用户，需要在无网络环境下使用 AI 功能的用户，以及希望在移动设备或 Mac 上运行各种 GGUF 模型和视觉语言模型的开发者或爱好者。

主要亮点

• 多模态能力：支持文本生成（Llama、Qwen、Phi）、图像生成（Stable Diffusion）、视觉 AI（SmolVLM、Qwen-VL）和语音转录（Whisper）。
• 本地 RAG：通过项目知识库对 PDF 和文本文件进行本地分块和嵌入，实现设备上的文档分析。
• 硬件加速：自动检测并利用 GPU/NPU，在旗舰设备上实现更快的推理速度。
• 工具调用：内置网络搜索、计算器和知识库搜索工具，并具备防止资源滥用的机制。
• 远程服务器支持：可连接到 Ollama 或 LM Studio 等兼容 OpenAI 的本地服务器。
• 内存管理：支持 Lean、Balanced 和 Aggressive 加载策略，对 RAM 使用进行精细控制。