ENTERPILOT/GoModel

解决的问题

GoModel 是一个专为简化多个 LLM 提供商管理而设计的 AI 网关。它解决了供应商锁定、成本不可预测以及 AI 应用缺乏集中可观测性的问题。它提供了一个统一的接口来与各种 AI 模型交互，同时提供降低成本和提高可靠性的工具。

工作原理

GoModel 作为你的应用程序与多个 AI 提供商（如 OpenAI、Anthropic 和 Google Gemini）之间的代理层。它接受 OpenAI 兼容或 Anthropic 兼容格式的请求，并将其路由到目标提供商。它包含一个管理仪表板，支持通过 .env 文件、config.yaml 或管理界面进行配置。

适用人群

需要管理多个 LLM 提供商、跟踪支出，并通过故障转移和负载均衡确保高可用性的开发者和团队。

主要亮点

• 统一 API：支持大量提供商，包括 OpenAI、Anthropic、xAI、Google Gemini 等，兼容官方 SDK。
• 成本与预算管理：提供请求级成本估算、使用分析，以及按用户、团队或密钥设置硬性支出限制。
• 缓存：支持精确匹配和语义响应缓存，以降低费用和重复提示成本。
• 可靠性工具：包含自动故障转移至备用提供商、重试、熔断器和提供商标记轮换功能。
• 可观测性：通过集中式仪表板提供 Prometheus 指标、OpenTelemetry 跟踪和审计日志。
• 高级路由：支持虚拟模型用于负载均衡和智能路由，可根据请求难度分类并选择最便宜且健康的提供商（Pro 版本）。
• 可扩展性：支持插件，用于防护规则、响应过滤和路由策略。