theopenco/llmgateway

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

它解决的问题

LLM Gateway 提供了一个位于应用程序与多个 LLM 提供者之间的集中式中间层。它消除了为每个提供者管理单独 API 密钥的需求，并简化了跨不同模型追踪成本和性能的过程。

它的工作原理

它充当一个 API 网关，将请求路由到如 OpenAI、Anthropic 和 Google Vertex AI 等提供者。它使用与 OpenAI API 格式兼容的统一 API 接口，使开发者能够在不更改应用程序代码的情况下切换模型。

适用对象

使用多个 LLM 提供者且需要集中方式来管理密钥、监控使用量分析以及比较模型性能的开发者和组织。

特点

  • 拥有与 OpenAI 格式兼容的统一 API 接口
  • 跟踪所有交互中的令牌使用量、响应时间和成本
  • 通过单一网关支持多个 LLM 提供者
  • 通过 Docker 提供托管和自托管两种部署选项
  • 集成了用于分析和性能监控的仪表板