LLM Gateway – 大型语言模型的统一 API 层

它是什么

• 一个开源中间件，位于您的应用程序和多个 LLM 提供商（OpenAI、Anthropic、Google Vertex AI 等）之间。
• 它暴露一个模拟 OpenAI 聊天补全端点的单一 API，因此您可以在不更改客户端代码的情况下切换提供商。

核心功能

• 统一 API – 一个端点（/v1/chat/completions）适用于任何配置的提供商。
• 多提供商路由 – 按请求选择目标模型，或让网关在提供商之间平衡流量。
• 集中密钥管理 – 将所有提供商的 API 密钥存储在一个地方，由密钥保护。
• 使用分析 – 记录令牌数量、响应时间和每次请求的成本；有助于预算和性能调优。
• 性能监控 – 并排比较不同模型的延迟和价格。
• 企业扩展（在 ee/ 文件夹中）– 计费、完整负载保留、组织管理等，在商业许可下提供。

如何运行

• 托管 SaaS – 在 https://llmgateway.io 注册，获取 API 密钥并开始发送请求。
• 自托管 – 自行部署基于 Docker 的堆栈。README 提供了两种模式：
  1. 使用提供的 run-unified-container.sh 脚本，并生成密钥。
  2. 运行单个 docker run 命令，挂载命名卷用于 PostgreSQL 和 Redis，并暴露网关的端口（3002‑3007、4001‑4002）。
• 开发工作流：pnpm i && pnpm run setup 安装依赖、启动容器并填充数据库；pnpm dev 启动服务；pnpm build 进行生产构建。

项目布局

• apps/ – 多个 Next.js 前端（仪表板、游乐场、提供商门户）和 Hono 后端。
• apps/gateway – 实际的请求路由服务。
• packages/ – 共享代码：数据库模式（drizzle）、模型/提供商定义、工具。
• ee/ – 仅限企业的管理 UI 和功能，受商业许可限制。

谁可能使用它

• 需要调用 LLM 但希望避免供应商锁定的团队。
• 需要跨多个提供商监控和控制 LLM 支出的公司。
• 希望在实验替代模型时，拥有一个行为类似 OpenAI API 的本地测试环境的开发者。

许可证

• 核心代码：AGPL‑v3（开源，要求任何修改版本的源代码分发）。
• 企业附加组件：专有许可证；商业使用需要单独的协议。

---

所有细节均直接取自仓库的 README。