Vali-98/ChatterUI

A frontend for running models on mobile or connecting to your preferred API providers.

何を解決するか

ChatterUI は、大規模言語モデル(LLMs)と対話するためのネイティブなモバイルインターフェースを提供し、ユーザーがデバイス上でモデルをローカルに実行するか、さまざまな外部APIに接続できるようにします。デスクトップ環境は必要ありません。

動作方法

このアプリは2つの主要なモードで動作します:

  • ローカルモード:llama.cpp をカスタム React Native アダプタ経由で使用し、GGUF モデルファイルをモバイルデバイスのハードウェア上で直接実行します。
  • リモートモード:商用API(OpenAI、Claude、Cohereなど)やオープンソースのバックエンド(Ollama、Koboldcpp、text-generation-webuiなど)に接続します。

対象ユーザー

オンデバイスのプライバシーを重視するか、異なるAPIプロバイダー間を切り替えたいと希望する、モバイルユーザーで、LLM用の専用でカスタマイズ可能なチャットインターフェースを求める人。

特徴

  • ハイブリッド実行:デバイス上で推論を行うことと、リモートAPIに接続することの両方をサポートします。
  • キャラクター基準のチャット:特定のキャラクター(人物)を作成・対話するための Character Card v2 標準をサポートします。
  • カスタマイズ:サンプラーのフィールドや指示のフォーマットをユーザーが変更できます。
  • アクセシビリティ:デバイスのネイティブなテキスト読み上げ(TTS)エンジンと統合されています。

これは、ユーザーがローカルでモデルを実行したり、さまざまな商用およびオープンソースAPIに接続できる、LLM用のネイティブモバイルフロントエンドです。— @handle

関連

  • Dispatch
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト