ServiceStack/llms

ServiceStack/llms – 快速概览

它是什么 – llms.py 是一个轻量级的命令行和 Web API 工具，让你无需互联网连接即可与各种大型语言模型（LLM）对话。它旨在成为 Open WebUI 项目的自托管、隐私优先的替代方案。

主要功能

• 离线多 LLM 访问 – 连接任何本地托管的 LLM（例如 Llama-2、Mistral 等），并从同一界面查询。
• CLI 和 HTTP API – 使用简单的终端命令或发送 REST 调用来获取补全，便于脚本化或嵌入其他应用。
• 聊天式 UI – 基于浏览器的前端模拟类似 ChatGPT 的对话，仅将聊天历史存储在浏览器的本地存储中，因此不会离开用户的机器。
• MCP 客户端集成 – 可选扩展，将对话/代理连接到远程“MCP”工具（受 OAuth 保护的每用户端点）。审批可编辑，系统可以从故障中恢复，而无需重放不确定的调用。
• 共享扩展 – share_static 和 share_llmspy 允许你向他人公开静态资源或整个对话会话，通过配置文件控制。

工作原理

1. 运行 Python 脚本（llms.py）– 它启动一个微型 Web 服务器，公开 REST API 并提供捆绑的 UI。
2. 配置 LLM 后端 – 将服务器指向本地运行的模型服务（通过 HTTP、gRPC 等）。
3. 交互 – 在浏览器中打开 UI，输入提示，服务器将其转发到所选模型，并返回响应。
4. 可选 MCP 层 – 如果你启用 extensions/mcp_client 模块，服务器可以将某些调用转发到需要 OAuth 认证的远程工具，并在服务器上存储每用户审批。

谁可能使用它

• 希望快速获得自托管 ChatGPT 风格 UI 来实验本地 LLM 的开发人员。
• 需要保持提示数据私密，并偏好浏览器本地存储而非云数据库的团队。
• 构建需要调用外部服务（通过 MCP 客户端）同时保持核心对话离线的代理的研究人员。

了解更多

• 项目网站：https://llmspy.org
• 仓库：https://github.com/ServiceStack/llmspy.org（你正在阅读的 README）
• 扩展文档：llms/extensions/mcp_client/README.md 和 docs/SHARING.md

---

以上所有细节均直接取自仓库的 README；没有推断任何额外功能。