OGAM: 为移动端和 Mac 提供文本、图像及视觉能力的隐私优先离线 AI 套件

它解决了什么问题

Off Grid AI 为移动设备（Android, iOS）和 macOS 提供了一套完整的、完全离线的 AI 套件，确保没有任何数据离开设备。它消除了对云端 AI 服务的依赖，在设备端提供以隐私为中心的文本生成、图像创建和视觉分析。

工作原理

该应用利用原生硬件加速（Snapdragon 上的 NPU，iOS 上的 Core ML）以及经过优化的库（如 llama.cpp, whisper.cpp, 和 MNN）来在本地运行模型。它支持用于文本的 GGUF 模型、用于图像的 Stable Diffusion 以及用于语音转文本的 Whisper。它还包含一个使用内置 MiniLM 模型和 SQLite 进行文档分析的本地 RAG 系统。

适用人群

优先考虑数据隐私和离线访问 AI 工具的用户，以及希望在个人硬件上运行各种开源 LLM 和视觉模型的开发者。

亮点

• 多模态能力：支持文本生成（Llama, Qwen, Phi）、图像生成（Stable Diffusion）以及视觉 AI（SmolVLM, Qwen-VL）。
• 设备端 RAG：使用嵌入（embeddings）和余弦相似度（cosine similarity）为 PDF 和文本文档构建的本地知识库。
• 工具调用：内置用于网页搜索、计算器和知识库搜索的工具，并具备防止失控（runaway prevention）的功能。
• 灵活的模型支持：能够导入您自己的 .gguf 文件，或连接到本地网络上的远程 OpenAI 兼容服务器。
• 设备端语音：实时的 Whisper 语音转文本，以及（在 Pro 版本中）Kokoro 文本转语音。
• 跨平台：在 Android, iOS, 和 Apple Silicon Macs 上具有原生性能表现。