Vali-98/ChatterUI
A frontend for running models on mobile or connecting to your preferred API providers.
何を解決するか
ChatterUI は、大規模言語モデル(LLMs)と対話するためのネイティブなモバイルインターフェースを提供し、ユーザーがデバイス上でモデルをローカルに実行するか、さまざまな外部APIに接続できるようにします。デスクトップ環境は必要ありません。
動作方法
このアプリは2つの主要なモードで動作します:
- ローカルモード:
llama.cppをカスタム React Native アダプタ経由で使用し、GGUF モデルファイルをモバイルデバイスのハードウェア上で直接実行します。 - リモートモード:商用API(OpenAI、Claude、Cohereなど)やオープンソースのバックエンド(Ollama、Koboldcpp、text-generation-webuiなど)に接続します。
対象ユーザー
オンデバイスのプライバシーを重視するか、異なるAPIプロバイダー間を切り替えたいと希望する、モバイルユーザーで、LLM用の専用でカスタマイズ可能なチャットインターフェースを求める人。
特徴
- ハイブリッド実行:デバイス上で推論を行うことと、リモートAPIに接続することの両方をサポートします。
- キャラクター基準のチャット:特定のキャラクター(人物)を作成・対話するための Character Card v2 標準をサポートします。
- カスタマイズ:サンプラーのフィールドや指示のフォーマットをユーザーが変更できます。
- アクセシビリティ:デバイスのネイティブなテキスト読み上げ(TTS)エンジンと統合されています。
これは、ユーザーがローカルでモデルを実行したり、さまざまな商用およびオープンソースAPIに接続できる、LLM用のネイティブモバイルフロントエンドです。— @handle
関連
- Dispatch
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト