astaxie/TokenHub

TokenHub – 企业级 AI 模型网关与治理平台

功能简介
TokenHub 位于任何 OpenAI 兼容的 LLM 提供商（OpenAI、Azure、Anthropic、Gemini、DeepSeek、Qwen、本地模型等）之前，为企业增加了一层薄而强大的治理层。
您可以：

• 路由调用 – 根据场景、成本、健康状况或故障转移策略，将调用路由到最佳模型。
• 控制谁可以使用哪些令牌 – 项目级 API 密钥、团队级权限、配额和并发限制。
• 节省成本 – 自动缓存、模型选择规则和预算上限。
• 对账账单 – 将内部使用日志与提供商发票进行比较，使财务部门能够解释支出。

适用对象

• 用户 – 只需要 API 密钥即可调用模型并查看自己使用情况的开发者。
• 团队负责人 – 管理项目、成员、成本归属和报告。
• 管理员 – 配置提供商、路由策略、RBAC、审计追踪和成本控制。

主要技术要点

• 使用 Go 1.26 编写，提供 SQLite 优先 的部署选项；PostgreSQL 可用于多实例扩展。
• 提供 OpenAI 兼容端点（/v1/chat/completions、/v1/embeddings、/v1/images/generations 等）以及 Anthropic 风格的消息和令牌计数 API。
• 支持 Docker-Compose 或原生 systemd 安装；发布包经过版本检查，可从管理控制台回滚。
• 包含 150 多个提供商模板 和主要商业 LLM 服务的适配器；可通过通用 OpenAI 兼容接口添加自定义上游。
• UI 提供亮/暗模式、角色感知导航和分析仪表板（按用户、项目、模型、成本中心的使用情况）。

快速开始

1. 原生安装 – 运行 curl 下载的脚本，安装 systemd 服务并打印管理员密码。
2. Docker-Compose – 复制 .env.example，填写机密信息，运行 ./deploy/install.sh。
3. 在 http://localhost:3000 打开控制台（管理员登录 admin）。

文档

• 架构概览、用户/负责人/管理员指南、部署说明和贡献指南均在 docs/ 文件夹中。
• 项目采用 Apache-2.0 许可证，欢迎贡献。

---

TokenHub 是一个真正的、面向生产的开源项目，解决了大型组织中 AI 模型消费治理的实际问题。