off-grid-ai-mobile: 为移动端和 Mac 提供端侧文本、图像和视觉能力的全面离线 AI 套件

它解决了什么问题

Off Grid 是一款针对移动设备和 macOS 的全面离线 AI 套件，允许用户在无需互联网连接或将数据发送到云端的情况下，在本地运行强大的 AI 模型。它通过确保所有处理都在设备端完成，消除了与基于云端的 AI 相关的隐私担忧。

工作原理

该应用利用原生硬件加速（NPU, Core ML）和经过优化的库（如 llama.cpp 和 whisper.cpp）在本地运行各种 AI 模型。它支持文本生成（GGUF 模型）、图像生成（Stable Diffusion）、视觉 AI（VLM）以及语音转文本（Whisper），所有这些都集成在一个单一的界面中。它还允许连接到远程 LLM 服务器（如 Ollama）以满足那些更喜欢本地网络设置的用户。

适用人群

注重隐私的用户、开发者，以及任何想要在手机或 Mac 上拥有完全离线工作的 AI 助手的人。

亮点

• 多模态能力：支持文本、图像生成、视觉 AI 和语音转录。
• 端侧 RAG：包含一个项目知识库，其中 PDF 和文本文件通过 MiniLM 模型和 SQLite 进行本地嵌入和检索。
• 工具调用：内置用于网页搜索、计算器和带有防止失控机制的知识库搜索工具。
• NPU 加速的图像生成：实时预览并支持 20 多个 Stable Diffusion 模型。
• 广泛的模型支持：兼容 Qwen、Llama、Gemma 和 Phi 模型，以及自定义的 .gguf 文件。