mozilla-ai/otari

Open-source, OpenAI-compatible LLM gateway you run yourself. One endpoint for 40+ providers, with virtual keys, budgets, and usage tracking.

解决的问题

Otari 解决了管理多个 LLM 提供商和控制成本的复杂性。您无需将各种 API 直接集成到应用程序中，而是使用单个端点来处理身份验证、将请求路由到不同的提供商，并在任何支出发生之前执行预算限制。

工作原理

Otari 在您的应用程序和 LLM 提供商（如 OpenAI 或 Anthropic）之间充当代理服务器。它提供与 OpenAI 兼容的接口，这意味着您现有的客户端代码可以将指向提供商改为指向 Otari。它使用路由引擎连接 40 多个提供商，为您的用户管理虚拟 API 密钥，并实时跟踪使用情况和支出。

适用对象

专为需要集中化其 AI 技术栈、在不向客户端应用程序暴露凭据的情况下安全管理 API 凭据，以及在多个 LLM 模型中实施严格成本控制和使用情况监控的开发人员和组织而设计。

亮点

  • 统一接口： 一个支持 40 多个提供商的 OpenAI 和 Anthropic API 格式的端点。
  • 成本控制： 在处理请求之前执行针对每个用户和每个密钥的预算。
  • 安全的凭据管理： 将提供商密钥保留在受控环境中，向客户端发放受限的虚拟密钥。
  • 可观测性： 提供内置的使用情况跟踪和用于监控支出及模型的管理仪表板。
  • 可扩展功能： 支持内置工具（如沙箱化的 Python 代码执行和网络搜索）以及请求级护栏。