theroyallab/tabbyAPI

解决的问题

TabbyAPI 提供了一种将大型语言模型 (LLMs) 作为 Web 服务进行部署的方式，让用户可以通过 API 生成文本，而不必直接通过命令行界面或繁重的 GUI 与模型交互。它专门作为 ExllamaV3 后端的官方 API 服务器。

运作原理

TabbyAPI 建立在 FastAPI 之上，封装了 ExllamaV3 后端以处理模型加载与推理。它实现了 OpenAI 兼容的 API，这意味着它可以在许多应用程序中作为 OpenAI 服务的直接替代品。它支持先进的推理技术，例如连续批处理 (continuous batching) 与分页注意力机制 (paged attention，适用于 Nvidia Ampere GPU 及更新版本)，以及使用草稿模型进行推测解码 (speculative decoding) 以提升速度。

目标客群

专为希望在本地或自有硬件上运行 LLM，并通过标准化 API 将其公开以供其他应用程序使用的爱好者与开发者所设计。

特色亮点

• OpenAI 兼容性：使用 OpenAI 兼容的 API，易于整合。
• 先进推理：支持连续批处理、分页注意力机制与推测解码。
• 灵活格式化：包含对 JSON schema、Regex、EBNF 的支持，以及用于聊天完成的 Jinja2 模板引擎。
• 模型管理：直接处理从 HuggingFace 加载、卸载与下载模型。
• 扩展功能：支持嵌入模型 (embedding models) 与 OAI 风格的工具/函数调用 (tool/function calling)。