a-ghorbani/pocketpal-ai

PocketPal AI – 设备端 AI 聊天助手

这是什么 – PocketPal AI 是一款免费、开源移动应用（iOS 和 Android），让您可以与大型语言模型对话、听它们说话，并为它们提供简单的工具（计算器、日期时间、HTML 渲染）– 全部无需离开手机。应用会从 Hugging Face 下载一次 GGUF 格式的模型，然后使用手机的 CPU、GPU（Metal/OpenCL）或 NPU（Qualcomm Hexagon）在本地执行推理。无需云账户、无需订阅，除非您明确分享基准测试结果或反馈，否则所有内容都会保持私密。

核心功能

功能	您获得的内容
设备端聊天	离线运行流行的 LLM（Gemma、Qwen、Phi、Llama 等），格式为 GGUF。
神经 TTS	设备端文本转语音（Kokoro 和其他 ONNX 模型）– 无需互联网调用。
Pals 和 PalsHub	创建或下载具有自定义提示、个性甚至角色扮演设置的个性化“助手”。
工具使用（Talents）	模型可以通过工具使用循环调用内置工具（计算器、日期时间、HTML 渲染器）。
硬件加速	推理可以使用 CPU、GPU（iOS 上的 Metal，Android 上的 OpenCL）或 NPU；应用会优雅地降级。
基准测试和排行榜	测量每秒 token 数和内存使用量；可选择将结果提交到公开的 AI-Phone 排行榜。
本地化	界面支持 11 种语言；完整支持 iPad。
开源且免费	MIT 许可证，没有隐藏的“专业版”。

工作原理（高层级）

UI 层 – React Native 应用（React Native Paper、MobX 状态、WatermelonDB 用于聊天历史）。AgentRunner 流式传输模型 token，并在模型请求时调度 Talents。
桥接层 – 原生模块将 llama.cpp 推理（llama.rn）和 ONNX-Runtime TTS 暴露给 JavaScript。
引擎层 – llama.cpp 运行量化的 GGUF LLM；ONNX Runtime 运行神经 TTS 模型。
硬件层 – 数学运算在设备的 CPU、GPU（Metal/OpenCL）或 NPU（Qualcomm Hexagon）上执行，并自动降级。

用户入门

从 App Store 或 Google Play 安装。
打开应用 → 菜单 ☰ → 模型 → 选择适合您设备内存的模型并下载（或使用个人 token 从 Hugging Face 添加）。
加载模型并开始聊天。您可以启用语音输出、切换 Pals，或运行基准测试屏幕。

开发者入门

先决条件 – Node 22（通过 .nvmrc）、Yarn 1、Xcode + CocoaPods（iOS）或 Android Studio（Android）。仓库遵循标准的 React-Native 布局。
构建 – git clone … && nvm use && yarn install && (cd ios && pod install) 然后 yarn ios 或 yarn android。
代码结构 –
- src/screens – UI 页面（聊天、模型、Pals、基准测试、设置）。
- src/services/agent – AgentRunner 实现聊天工具循环。
- src/services/talents – 内置工具；通过实现 TalentEngine 并注册来添加。
- src/services/tts – TTS 引擎；可使用其他 ONNX 模型扩展。
- src/store – 用于模型、聊天会话、设置等的 MobX 存储。
质量门禁 – yarn lint、yarn typecheck、yarn test 必须在 PR 前通过。
扩展 – 添加 Talents、TTS 引擎或语言环境（src/locales 下的 JSON 文件）。

谁可能受益？

注重隐私的用户，想要一个永不传输数据的对话式 AI。
旅行者 / 外勤人员，需要在飞机上或偏远地区使用离线 AI。
开发者，对设备端 LLM 推理、硬件加速或构建自定义 AI 助手感兴趣。

许可证与社区

许可证 – MIT。
支持 – GitHub Discussions、Issues、网站 pocketpal.dev，以及可选的 GitHub Sponsors 赞助。
致谢 – 基于 llama.cpp、llama.rn、ONNX Runtime、React-Native、MobX、WatermelonDB 和许多其他开源库。

结论 – PocketPal AI 展示了现代量化 LLM 可以在智能手机上完全离线运行，提供一个私密、可扩展的 AI 助手，无需任何经常性费用。