KoboldAI/KoboldAI-Client

For GGUF support, see KoboldCPP: https://github.com/LostRuins/koboldcpp

KoboldAI – ブラウザベースのAI支援ライティング用フロントエンド

概要

  • ストーリー執筆、テキストアドベンチャーゲーム、チャットボット形式の会話のために、さまざまなローカルまたはリモートの言語モデルと対話できるWeb UI。
  • このリポジトリにはレガシークライアントが含まれています(最新モデルには対応しておらず、新しい作業はKoboldCppに移行)。

仕組み

  • UIはブラウザで動作し、選択したモデルバックエンド(ローカルGPU/CPUインスタンス、Google Colabノートブック(TPUまたはGPU)、オンラインAPI(OpenAI、Inferkitなど))と通信します。
  • メモリ、作者の注記、ワールド情報、保存/読み込み、調整可能な生成設定などのツールを提供。
  • 3つの主要な対話モード:
    1. ノベルモード – 散文執筆に最適化。
    2. アドベンチャーモード – テキストアドベンチャー(二人称「あなた」コマンド)のように動作。
    3. チャットボットモード – 明示的な話者タグで対話をフォーマット。

対応モデル

  • READMEには、スタイル別にグループ化された数十のHugging Faceモデルがリストされています:
    • ノベル(例:Nerys、Janeway、Picard)
    • アドベンチャー(例:Adventure、Skein、Spring Dragon)
    • NSFW(例:Erebus、Lit)
    • ハイブリッド/汎用(例:GPT-J-6B、OPT、NeoX、MythoMax、Chronos)
  • モードによって推奨モデルが異なります。アドベンチャーモデルはYouという単語を期待し、ノベルモデルは期待しません。

実行方法

  • ローカル:クライアントをインストールし、モデルファイルまたはAPIエンドポイントを指定します。
  • Google Colab:2つの既製ノートブック(TPUとGPU)でVMを起動し、モデルをダウンロードしてUIに接続できます。セーブはGoogle Driveに同期可能。
  • API:OpenAIまたはInferkitキーを提供して、ホスト型モデルを使用します。

重要性

  • 非技術系ライターがコードを書かずに大規模言語モデルを試す方法を提供。
  • クリエイティブライティングとインタラクティブなストーリーテリングの両方をサポートし、純粋なテキスト生成とゲームスタイルのプレイのギャップを埋めます。
  • このリポジトリはレガシーですが、セルフホストLLMフロントエンドの典型的なアーキテクチャを示しています。

現在のステータス

  • レガシーとマークされています。開発者は最新モデルサポートのためにKoboldCppへの切り替えを推奨。
  • 積極的なメンテナンスはありませんが、コードはリストされた旧モデルで機能し続けます。

TL;DR:KoboldAI-Clientは、さまざまな言語モデル(ローカル、Colab、API)をライティングアシスタント、テキストアドベンチャーエンジン、チャットボットとして実行するためのブラウザUIです。多くのコミュニティキュレーションモデルが同梱され、ストーリー管理ツールを提供しますが、プロジェクトは現在非推奨で、KoboldCppが推奨されます。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト