KoboldAI/KoboldAI-Client

For GGUF support, see KoboldCPP: https://github.com/LostRuins/koboldcpp

KoboldAI – 基于浏览器的AI辅助写作前端

它是什么

  • 一个网页UI,让您与各种本地或远程语言模型交互,用于故事写作、文字冒险游戏或聊天机器人式对话。
  • 该仓库包含旧版客户端(不再维护最新模型;较新的工作已移至KoboldCpp)。

工作原理

  • UI在浏览器中运行,并与您选择的后端模型通信:本地GPU/CPU实例、Google Colab笔记本(TPU或GPU)或在线API(OpenAI、Inferkit等)。
  • 提供记忆、作者注记、世界信息、保存/加载以及可调整的生成设置等工具。
  • 三种主要交互模式:
    1. 小说模式 – 针对散文写作优化。
    2. 冒险模式 – 行为类似文字冒险(第二人称“你”命令)。
    3. 聊天机器人模式 – 使用显式说话者标签格式化对话。

支持的模型

  • README列出了数十种可加载的Hugging Face模型,按风格分组:
    • 小说(例如Nerys、Janeway、Picard)
    • 冒险(例如Adventure、Skein、Spring Dragon)
    • NSFW(例如Erebus、Lit)
    • 混合/通用(例如GPT-J-6B、OPT、NeoX、MythoMax、Chronos)
  • 不同模式推荐不同模型;冒险模型期望单词You,小说模型则不然。

运行方式

  • 本地:安装客户端,指向模型文件或API端点。
  • Google Colab:两个现成的笔记本(TPU和GPU)让您启动虚拟机、下载模型并连接UI。存档可同步到Google Drive。
  • API:提供OpenAI或Inferkit密钥以使用其托管模型。

为何重要

  • 为非技术作家提供一种无需编写代码即可试验大型语言模型的方式。
  • 支持创意写作和交互式叙事,弥合纯文本生成与游戏式玩法之间的差距。
  • 尽管此仓库现已过时,它仍展示了自托管LLM前端的典型架构。

当前状态

  • 标记为旧版;开发者建议切换到KoboldCpp以获得现代模型支持。
  • 无积极维护,但代码对列出的旧模型仍可运行。

TL;DR:KoboldAI-Client是一个浏览器UI,用于运行各种语言模型(本地、Colab或API)作为写作助手、文字冒险引擎或聊天机器人。它附带许多社区精选模型,并提供故事管理工具,但该项目现已弃用,推荐使用KoboldCpp。

相关

  • 项目
  • 项目
  • 项目
  • 项目