off-grid-ai/OGAM

解决的问题

Off Grid AI 为移动设备和 Mac 提供了一套完整的离线 AI 套件，确保任何数据都不会离开设备。它消除了对云端 AI 服务的依赖，直接在本地硬件上提供注重隐私的文本生成、图像生成和视觉 AI 功能。

运作原理

该应用程序利用原生硬件加速（通过 OpenCL 的 Adreno GPU、Apple Silicon Metal 和 Snapdragon Hexagon NPU）在本地运行模型。它支持 GGUF 模型（如 Llama 3.2、Qwen 3 和 Phi-4），并集成了 llama.cpp 和 whisper.cpp 进行文本与语音转录。它还使用 Core ML 通过 Stable Diffusion 进行图像生成，并结合本地 SQLite 数据库与 MiniLM，通过项目知识库实现设备端 RAG（检索增强生成）。

适用对象

追求完全数据隐私的用户、需要在没有网络连接的情况下使用 AI 功能的人，以及希望在手机或 Mac 上运行各种开源 LLM 和视觉模型的开发者。

特色亮点

• 多模态能力：支持文本生成、图像生成 (Stable Diffusion)、视觉 AI (SmolVLM, Qwen3-VL) 以及语音转录 (Whisper)。
• 硬件加速：针对 Snapdragon 和 Apple Silicon 进行优化，以最大化每秒处理的 Token 数。
• 设备端 RAG：使用设备端嵌入和余弦相似度，为 PDF 和文本文件提供本地知识库。
• 工具调用：内置网页搜索、计算器和知识库搜索工具，并具备失控预防机制。
• 模型管理：通过不同的加载策略（精简、平衡、积极）对 RAM 使用量进行细致控制。
• 远程 LLM 支持：能够连接到本地网络服务器，如 Ollama 或 LM Studio。