Vali-98/ChatterUI

A frontend for running models on mobile or connecting to your preferred API providers.

它解决了什么问题

ChatterUI 为与大型语言模型（LLMs）交互提供了一个原生移动界面，使用户能够在设备上本地运行模型，或连接到各种外部 API，而无需桌面环境。

它如何工作

该应用以两种主要模式运行：

  • 本地模式：通过自定义的 React Native 适配器使用 llama.cpp，在移动设备的硬件上直接运行 GGUF 模型文件。
  • 远程模式：连接到商业 API（如 OpenAI、Claude 和 Cohere）或开源后端（如 Ollama、Koboldcpp 和 text-generation-webui）。

适合谁

希望拥有专用于 LLM 的可自定义聊天界面的移动用户，特别是那些偏好设备本地隐私或希望在不同 API 提供商之间灵活切换的用户。

特色亮点

  • 混合执行：同时支持设备本地推理和远程 API 连接。
  • 基于角色的聊天：支持 Character Card v2 规范，用于创建和与特定角色互动。
  • 可定制性：允许用户修改采样器字段和指令格式。
  • 可访问性：与设备原生的文本转语音（TTS）引擎集成。

相关

  • Dispatch
    边缘上的LLM推理：通过React Native运行本地LLM

    Hugging Face 提供了一份全面的指南，使用 React Native 和 llama.rn 在 Android 和 iOS 上本地运行量化的 GGUF 模型，构建注重隐私的移动应用。

  • 项目
    addyosmani/chatty

    一个使用 WebGPU 在本地硬件上运行 LLM 的私有浏览器内 AI 聊天界面，支持离线使用和数据隐私保护。

  • 项目
    OpenBMB/MiniCPM-V-Apps

    OpenBMB 的 MiniCPM‑V‑Apps 仓库提供了三个端侧演示应用（iOS、Android、HarmonyOS），通过 llama.cpp 的分支在本地运行 MiniCPM‑V 多模态 LLM。它包含构建脚本、模型下载说明以及从 1B 到从 SSD 流式加载专家的 35B MoE 模型的硬件要求。

  • 项目
    netdur/llama_cpp_dart

    一个为 llama.cpp 提供 Dart FFI 绑定的项目，可在 Flutter 应用中于 iOS 和 Android 上本地运行 LLM、视觉和音频模型。

  • 项目
    undreamai/LLMUnity

    一个 Unity 引擎的大型语言模型集成方案，能够在本地创建具备检索增强生成（RAG）支持的智能 AI 角色。