Vali-98/ChatterUI

A frontend for running models on mobile or connecting to your preferred API providers.

解決的問題

ChatterUI 提供了一個原生行動前端,用於與大型語言模型(LLMs)互動,彌補了希望擁有行動友善介面並能細緻控制對話結構與管理的使用者需求。

運作方式

此應用以兩種主要模式運作:

  • 本機模式:透過自訂的 React Native 介面(cui-llama.rn)使用 llama.cpp,直接在行動裝置的硬體上執行 GGUF 模型檔案。
  • 遠端模式:透過 API 連接到外部 LLM 提供者。支援 Ollama 和 koboldcpp 等開源後端、OpenAI 和 Claude 等商業服務,以及通用的聊天/文字補全後端。

適用對象

專為希望在手機上本機執行 LLM 或連接各種 AI API 的行動使用者設計,同時保持對模型設定與角色人格的細緻控制。

主要特色

  • 角色支援:支援 Character Card v2 標準,可與特定角色對話。
  • 彈性模型載入:允許將模型匯入應用,或使用裝置儲存中的外部檔案。
  • 可客製化:提供可調整的取樣器欄位與指令格式。
  • API 多樣性:內建模板系統,可用於定義未原生支援的提供者之自訂 API。
  • 可及性:與裝置的原生語音合成(TTS)引擎整合。

相關

  • Dispatch
  • 專案
  • 專案
  • 專案
  • 專案