mozilla-ai/otari

What it solves

Otari 是一个与 OpenAI 兼容的 LLM 网关，允许用户通过单一端点管理多个模型供应商。它解决了管理碎片化的供应商凭证、追踪跨不同服务的用量与预算，以及在不修改应用程序代码的情况下实现路由策略（用于故障转移和权重分配）的问题。

How it works

Otari 作为应用程序与 LLM 供应商的代理。它验证请求，解析所需的供应商凭证，在发送请求之前检查预算，并在完成后记录用量。它使用 any-llm 库来处理实际的供应商调用。

Who it’s for

它是为使用多个 LLM 供应商且需要集中式方式来处理身份验证、成本控制和路由策略的开发者和组织设计的。

Highlights

• Unified Endpoint: 为 40+ 供应商提供单一的 OpenAI 和 Anthropic 兼容端点。

• Credential Management: 保持供应商凭证在网关后端的安全性。

• Capped Spending: 在结算后执行预算限制并追踪用量记录。

• Flexible Routing: 支持本地路由策略，用于故障转移、权重分配和学习型选择。

• Access Control: 提供具有作用域的、可撤销的 API 密钥，针对用户、工作区和模型。

• Extended Capabilities: 可选择性支持代码执行、网路搜索、MCP, guardrails, 和文件理解。