Vali-98/ChatterUI

A frontend for running models on mobile or connecting to your preferred API providers.

解决的问题

ChatterUI 提供了一个用于与大型语言模型(LLMs)交互的原生移动前端,填补了那些希望拥有移动端友好界面并能对聊天结构和管理进行详细控制的用户的需求空白。

工作原理

该应用以两种主要模式运行:

  • 本地模式:通过自定义的 React Native 适配器(cui-llama.rn)使用 llama.cpp,在移动设备的硬件上直接运行 GGUF 模型文件。
  • 远程模式:通过 API 连接到外部 LLM 提供商。支持 Ollama 和 koboldcpp 等开源后端,OpenAI 和 Claude 等商业服务,以及通用的聊天/文本补全后端。

适用人群

专为希望在手机上本地运行 LLM 或连接各种 AI API 的移动用户设计,同时保持对模型设置和角色人格的精细控制。

主要亮点

  • 角色支持:支持 Character Card v2 规范,可与特定角色进行对话。
  • 灵活的模型加载:允许将模型导入应用,或使用设备存储中的外部文件。
  • 可定制性:提供可调整的采样器字段和指令格式。
  • API 多样性:包含模板系统,可用于定义未原生支持的提供方的自定义 API。
  • 可访问性:与设备的原生文本转语音(TTS)引擎集成。

相关

  • Dispatch
  • 项目
  • 项目
  • 项目
  • 项目