theopenco/llmgateway

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

它解決的問題

LLM Gateway 提供了一個位於應用程式與多個 LLM 提供者之間的集中式中介層。它消除了為每個提供者管理單獨 API 金鑰的需求，並簡化了跨不同模型追蹤成本與效能的流程。

它的運作方式

它作為一個 API 閘道，將請求路由到如 OpenAI、Anthropic 和 Google Vertex AI 等提供者。它使用與 OpenAI API 格式相容的統一 API 介面，使開發者能在不更改應用程式代碼的情況下切換模型。

適用對象

使用多個 LLM 提供者且需要集中方式來管理金鑰、監控使用量分析以及比較模型效能的開發者和組織。

特色

擁有與 OpenAI 格式相容的統一 API 介面
追蹤所有互動中的 token 使用量、回應時間和成本
透過單一閘道支援多個 LLM 提供者
透過 Docker 提供託管與自託管兩種部署選項
整合了用於分析與效能監控的儀表板