KoboldAI/KoboldAI-Client

For GGUF support, see KoboldCPP: https://github.com/LostRuins/koboldcpp

KoboldAI – 브라우저 기반 AI 지원 작문 프론트엔드

개요

  • 스토리 작성, 텍스트 어드벤처 게임, 챗봇 스타일 대화를 위해 다양한 로컬 또는 원격 언어 모델과 상호작용할 수 있는 웹 UI입니다.
  • 이 저장소에는 레거시 클라이언트가 포함되어 있습니다(最新モデルには対応しておらず、新しい作業はKoboldCppに移行)。

작동 방식

  • UI는 브라우저에서 실행되며 선택한 모델 백엔드(로컬 GPU/CPU 인스턴스、Google Colabノートブック(TPUまたはGPU)、オンラインAPI(OpenAI、Inferkitなど))와 통신합니다.
  • 메모리, 작가 메모, 월드 정보, 저장/로드, 조정 가능한 생성 설정 등의 도구를 제공합니다.
  • 세 가지 주요 상호작용 모드:
    1. 소설 모드 – 산문 작성에 최적화。
    2. 어드벤처 모드 – 텍스트 어드벤처(2인칭 “당신” 명령)처럼 동작。
    3. 챗봇 모드 – 명시적 발화자 태그로 대화를 포맷。

対応モデル

  • READMEには、スタイル別にグループ化された数十のHugging Faceモデルがリストされています:
    • ノベル(例:Nerys、Janeway、Picard)
    • アドベンチャー(例:Adventure、Skein、Spring Dragon)
    • NSFW(例:Erebus、Lit)
    • ハイブリッド/汎用(例:GPT-J-6B、OPT、NeoX、MythoMax、Chronos)
  • モードによって推奨モデルが異なります。アドベンチャーモデルはYouという単語を期待し、ノベルモデルは期待しません。

実行方法

  • ローカル:クライアントをインストールし、モデルファイルまたはAPIエンドポイントを指定します。
  • Google Colab:2つの既製ノートブック(TPUとGPU)でVMを起動し、モデルをダウンロードしてUIに接続できます。保存はGoogle Driveに同期可能。
  • API:OpenAIまたはInferkitキーを提供して、ホスト型モデルを使用します。

重要性

  • コードを書かずに大規模言語モデルを試したい非技術系ライターに道を開きます。
  • クリエイティブライティングとインタラクティブなストーリーテリングの両方をサポートし、純粋なテキスト生成とゲームスタイルのプレイのギャップを埋めます。
  • このリポジトリは現在レガシーですが、セルフホストLLMフロントエンドの典型的なアーキテクチャを示しています。

現在のステータス

  • レガシーとマークされています。開発者は最新モデルサポートのためにKoboldCppへの切り替えを推奨。
  • 積極的なメンテナンスはありませんが、コードはリストされた旧モデルに対して機能し続けます。

TL;DR:KoboldAI-Clientは、さまざまな言語モデル(ローカル、Colab、またはAPI)をライティングアシスタント、テキストアドベンチャーエンジン、またはチャットボットとして実行するためのブラウザUIです。多くのコミュニティキュレーションモデルが同梱され、ストーリー管理ツールを提供しますが、プロジェクトは現在非推奨で、KoboldCppが推奨されます。

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트