ENTERPILOT/GoModel

AI gateway written in Go. Lightweight unified OpenAI-compatible API for OpenAI, Anthropic, Gemini, Groq, xAI & Ollama. LiteLLM alternative with observability, guardrails, streaming, costs and usage tracking.

解决的问题

GoModel 是一个高性能 AI 网关，旨在简化多个 LLM 提供商的管理。它通过为各种 AI 模型提供单一、统一的入口点来解决供应商锁定和运营开销问题，同时通过缓存和智能路由降低成本。

工作原理

它在您的应用程序和各种 LLM 提供商（如 OpenAI、Anthropic 和 Google Gemini）之间充当代理层。它公开了与 OpenAI 兼容和与 Anthropic 兼容的 API，允许开发人员通过更改基准 URL 而无需重写代码即可切换提供商。网关集中处理身份验证、路由和监控。

适用对象

它是为使用多个 AI 模型并需要集中方式跟踪支出、实施速率限制并通过故障转移机制确保可靠性的开发人员和组织而构建的。

亮点

  • 统一 API：支持广泛的提供商，并具有 OpenAI 和 Anthropic SDK 兼容性。
  • 成本优化：包括精确和语义缓存、提示词压缩以及带有硬预算限制的支出追踪。
  • 可靠性：具有自动故障转移至备用提供商、重试和熔断器功能。
  • 管理工具：提供用于使用情况分析、可观测性和创建用于负载均衡的“虚拟模型”的仪表板。
  • 高级控制：提供速率限制、请求护栏和提供商密钥轮换，以绕过单密钥限制。