ENTERPILOT/GoModel

解決的問題

GoModel 是專為簡化多個 LLM 提供商管理而設計的 AI 網關。它解決了供應商鎖定、成本不可預測，以及 AI 應用缺乏集中式可觀測性的問題。提供統一介面與各種 AI 模型互動，同時提供降低成本與提升可靠性的工具。

運作方式

GoModel 作為你的應用程式與多個 AI 提供商（如 OpenAI、Anthropic 和 Google Gemini）之間的代理層。它接受 OpenAI 相容或 Anthropic 相容格式的請求，並路由至目標提供商。內建管理儀表板，支援透過 .env 檔案、config.yaml 或管理介面進行設定。

適用對象

需要管理多個 LLM 提供商、追蹤支出，並透過故障轉移與負載平衡確保高可用性的開發者與團隊。

主要特色

• 統一 API：支援大量提供商，包括 OpenAI、Anthropic、xAI、Google Gemini 等，並與官方 SDK 相容。
• 成本與預算管理：提供請求級成本估算、使用分析，以及按使用者、團隊或金鑰設定硬性支出限制。
• 快取：支援精確與語意回應快取，以降低費用與重複提示成本。
• 可靠性工具：包含自動故障轉移至備用提供商、重試、電路斷路器與提供商金鑰輪替功能。
• 可觀測性：透過集中式儀表板提供 Prometheus 指標、OpenTelemetry 追蹤與稽核日誌。
• 進階路由：支援虛擬模型用於負載平衡與智慧路由，可依請求難度分類並挑選最便宜且健康的提供商（Pro 版）。
• 可擴展性：支援插件，用於守護規則、回應過濾與路由策略。