mobile: 一个用于设备端文本、图像和视觉生成的完整离线 AI 套件

它解决了什么问题

Off Grid 提供了一个完整的、私密的 AI 套件，完全在设备端运行，消除了对云端连接的需求，并防止数据离开用户的硬件。它将手机或 Mac 变成一个自给自足的 AI 工作站，用于处理文本、图像和视觉任务。

它是如何工作的

该应用利用原生硬件加速（Snapdragon 上的 NPU，iOS 上的 Core ML）和优化的库（如 llama.cpp 和 whisper.cpp）来在本地运行模型。它支持广泛的 GGUF 模型用于文本生成，支持 Stable Diffusion 用于图像生成，并支持 SmolVLM/Qwen3-VL 用于视觉 AI。它还包含一个设备端 RAG 系统，使用捆绑的 MiniLM 模型进行嵌入，并使用 SQLite 进行本地存储。

适合谁使用

优先考虑数据隐私的用户、在离线环境下工作的人员，以及希望在移动设备或 Apple Silicon Mac 上运行多样化多模态 AI 模型的 AI 爱好者。

亮点

• 多模态能力：在一个应用中结合了文本生成、图像生成、Stable Diffusion 和视觉 AI。
• 设备端 RAG：使用 PDF 和文本文件进行本地文档分析和知识库搜索。
• 工具调用：内置用于网络搜索、计算器和设备信息的工具，并带有自动工具循环。
• 设备端语音：由 Whisper 驱动的语音转文本转录，完全在离线状态下进行。
• 灵活的模型支持：支持 Qwen、Llama 和 Gemma 模型，以及自定义的 .gguf 文件和远程 OpenAI 兼容服务器。