ServiceStack/llms

LLM Client, Server API and UI

解决的问题

它为访问多个大型语言模型(LLMs)提供了一个轻量级、注重隐私的 Open WebUI 替代方案。通过将所有用户数据存储在浏览器的本地存储中,而非远程服务器,来优先保障数据隐私。

工作原理

该项目是一个 CLI、API 和 Web 界面,允许用户与各种 LLM 进行交互。它完全离线运行(或通过本地 API 端点),并确保对话历史记录和设置存储在浏览器自身的存储机制中。

适用人群

希望为本地 LLM 使用简单、类似 ChatGPT 的界面,又不想承担复杂 UI 的开销,也不必担心云服务 AI 界面带来的数据隐私问题的用户。

主要亮点

  • 轻量级 CLI 和 API
  • 浏览器本地存储,实现完全的数据隐私
  • 类似 ChatGPT 的 Web 界面
  • 支持多个 LLM

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目