ENTERPILOT/GoModel

AI gateway written in Go. Lightweight unified OpenAI-compatible API for OpenAI, Anthropic, Gemini, Groq, xAI & Ollama. LiteLLM alternative with observability, guardrails, streaming, costs and usage tracking.

解決的問題

GoModel 是一個高性能 AI 閘道，旨在簡化多個 LLM 提供商的管理。它透過為各種 AI 模型提供單一、統一的入口點來解決供應商鎖定和營運開銷問題，同時透過快取和智慧路由降低成本。

工作原理

它在您的應用程式與各種 LLM 提供商（如 OpenAI、Anthropic 和 Google Gemini）之間充當代理層。它公開了與 OpenAI 相容及與 Anthropic 相容的 API，允許開發人員透過更改基準 URL 而無需重寫程式碼即可切換提供商。閘道集中處理身分驗證、路由和監控。

適用對象

它是為使用多個 AI 模型並需要集中方式追蹤支出、實施速率限制並透過故障轉移機制確保可靠性的開發人員和組織而構建的。

亮點

  • 統一 API：支援廣泛的提供商，並具有 OpenAI 與 Anthropic SDK 相容性。
  • 成本優化：包括精確與語義快取、提示詞壓縮以及帶有硬預算限制的支出追蹤。
  • 可靠性：具有自動故障轉移至備用提供商、重試和熔斷器功能。
  • 管理工具：提供用於使用情況分析、可觀測性和建立用於負載平衡的「虛擬模型」的儀表板。
  • 進階控制：提供速率限制、請求護欄和提供商金鑰輪轉，以繞過單金鑰限制。