Mobile-Artificial-Intelligence/maid
Maid is a free and open source application for interfacing with llama.cpp models locally, and with Anthropic, DeepSeek, Ollama, Mistral and OpenAI models remotely.
解决的问题
Maid 提供了一种在 Android 设备上直接运行大型语言模型(LLMs)或连接到远程 AI 服务提供商的方法,消除了本地模型对持续互联网连接的需求,并为多个 AI 服务提供统一的界面。
工作原理
该应用基于 React Native 构建,使用 llama.cpp 对 GGUF 模型文件进行本地推理。同时,通过 API 密钥集成多种远程 API(如 OpenAI、Anthropic 和 DeepSeek)。用户可直接在应用内从 Hugging Face 下载精选模型,或加载自己的本地 GGUF 文件。
适用人群
希望在设备上私密地与 AI 模型交互,或通过单一、用户友好的移动应用管理多个远程 AI 服务提供商的 Android 用户。
主要亮点
- 本地与远程推理:完全在设备上运行 GGUF 模型,或连接到 Mistral、Novita 和 Ollama 等提供商。
- 模型管理:一键下载精选的 Hugging Face 模型,并支持自定义本地 GGUF 文件。
- 对话工具:支持创建、重命名、导出和导入聊天记录为 JSON 格式。
- 自定义设置:可为每个会话调整温度、top-p、top-k 和上下文长度,还可设置自定义系统提示。
- 注重隐私:完全开源,无广告,无遥测数据。
相关
- Dispatch
- 项目
- 项目
- 项目
- 项目