KoboldAI/KoboldAI-Client
For GGUF support, see KoboldCPP: https://github.com/LostRuins/koboldcpp
KoboldAI – 브라우저 기반 AI 지원 작문 프론트엔드
개요
- 스토리 작성, 텍스트 어드벤처 게임, 챗봇 스타일 대화를 위해 다양한 로컬 또는 원격 언어 모델과 상호작용할 수 있는 웹 UI입니다.
- 이 저장소에는 레거시 클라이언트가 포함되어 있습니다(最新モデルには対応しておらず、新しい作業はKoboldCppに移行)。
작동 방식
- UI는 브라우저에서 실행되며 선택한 모델 백엔드(로컬 GPU/CPU 인스턴스、Google Colabノートブック(TPUまたはGPU)、オンラインAPI(OpenAI、Inferkitなど))와 통신합니다.
- 메모리, 작가 메모, 월드 정보, 저장/로드, 조정 가능한 생성 설정 등의 도구를 제공합니다.
- 세 가지 주요 상호작용 모드:
- 소설 모드 – 산문 작성에 최적화。
- 어드벤처 모드 – 텍스트 어드벤처(2인칭 “당신” 명령)처럼 동작。
- 챗봇 모드 – 명시적 발화자 태그로 대화를 포맷。
対応モデル
- READMEには、スタイル別にグループ化された数十のHugging Faceモデルがリストされています:
- ノベル(例:Nerys、Janeway、Picard)
- アドベンチャー(例:Adventure、Skein、Spring Dragon)
- NSFW(例:Erebus、Lit)
- ハイブリッド/汎用(例:GPT-J-6B、OPT、NeoX、MythoMax、Chronos)
- モードによって推奨モデルが異なります。アドベンチャーモデルはYouという単語を期待し、ノベルモデルは期待しません。
実行方法
- ローカル:クライアントをインストールし、モデルファイルまたはAPIエンドポイントを指定します。
- Google Colab:2つの既製ノートブック(TPUとGPU)でVMを起動し、モデルをダウンロードしてUIに接続できます。保存はGoogle Driveに同期可能。
- API:OpenAIまたはInferkitキーを提供して、ホスト型モデルを使用します。
重要性
- コードを書かずに大規模言語モデルを試したい非技術系ライターに道を開きます。
- クリエイティブライティングとインタラクティブなストーリーテリングの両方をサポートし、純粋なテキスト生成とゲームスタイルのプレイのギャップを埋めます。
- このリポジトリは現在レガシーですが、セルフホストLLMフロントエンドの典型的なアーキテクチャを示しています。
現在のステータス
- レガシーとマークされています。開発者は最新モデルサポートのためにKoboldCppへの切り替えを推奨。
- 積極的なメンテナンスはありませんが、コードはリストされた旧モデルに対して機能し続けます。
TL;DR:KoboldAI-Clientは、さまざまな言語モデル(ローカル、Colab、またはAPI)をライティングアシスタント、テキストアドベンチャーエンジン、またはチャットボットとして実行するためのブラウザUIです。多くのコミュニティキュレーションモデルが同梱され、ストーリー管理ツールを提供しますが、プロジェクトは現在非推奨で、KoboldCppが推奨されます。
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트