KoboldAI/KoboldAI-Client
For GGUF support, see KoboldCPP: https://github.com/LostRuins/koboldcpp
KoboldAI – ブラウザベースのAI支援ライティング用フロントエンド
概要
- ストーリー執筆、テキストアドベンチャーゲーム、チャットボット形式の会話のために、さまざまなローカルまたはリモートの言語モデルと対話できるWeb UI。
- このリポジトリにはレガシークライアントが含まれています(最新モデルには対応しておらず、新しい作業はKoboldCppに移行)。
仕組み
- UIはブラウザで動作し、選択したモデルバックエンド(ローカルGPU/CPUインスタンス、Google Colabノートブック(TPUまたはGPU)、オンラインAPI(OpenAI、Inferkitなど))と通信します。
- メモリ、作者の注記、ワールド情報、保存/読み込み、調整可能な生成設定などのツールを提供。
- 3つの主要な対話モード:
- ノベルモード – 散文執筆に最適化。
- アドベンチャーモード – テキストアドベンチャー(二人称「あなた」コマンド)のように動作。
- チャットボットモード – 明示的な話者タグで対話をフォーマット。
対応モデル
- READMEには、スタイル別にグループ化された数十のHugging Faceモデルがリストされています:
- ノベル(例:Nerys、Janeway、Picard)
- アドベンチャー(例:Adventure、Skein、Spring Dragon)
- NSFW(例:Erebus、Lit)
- ハイブリッド/汎用(例:GPT-J-6B、OPT、NeoX、MythoMax、Chronos)
- モードによって推奨モデルが異なります。アドベンチャーモデルはYouという単語を期待し、ノベルモデルは期待しません。
実行方法
- ローカル:クライアントをインストールし、モデルファイルまたはAPIエンドポイントを指定します。
- Google Colab:2つの既製ノートブック(TPUとGPU)でVMを起動し、モデルをダウンロードしてUIに接続できます。セーブはGoogle Driveに同期可能。
- API:OpenAIまたはInferkitキーを提供して、ホスト型モデルを使用します。
重要性
- 非技術系ライターがコードを書かずに大規模言語モデルを試す方法を提供。
- クリエイティブライティングとインタラクティブなストーリーテリングの両方をサポートし、純粋なテキスト生成とゲームスタイルのプレイのギャップを埋めます。
- このリポジトリはレガシーですが、セルフホストLLMフロントエンドの典型的なアーキテクチャを示しています。
現在のステータス
- レガシーとマークされています。開発者は最新モデルサポートのためにKoboldCppへの切り替えを推奨。
- 積極的なメンテナンスはありませんが、コードはリストされた旧モデルで機能し続けます。
TL;DR:KoboldAI-Clientは、さまざまな言語モデル(ローカル、Colab、API)をライティングアシスタント、テキストアドベンチャーエンジン、チャットボットとして実行するためのブラウザUIです。多くのコミュニティキュレーションモデルが同梱され、ストーリー管理ツールを提供しますが、プロジェクトは現在非推奨で、KoboldCppが推奨されます。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト