mozilla-ai/otari

What it solves

Otari 是一個與 OpenAI 相容的 LLM 閘道器，允許使用者透過單一端點管理多個模型供應商。它解決了管理碎片化的供應商憑證、跨不同服務追蹤使用量與預算，以及在不修改應用程式碼的情況下實施路由策略（用於故障轉移與權重分配）的問題。

How it works

Otari 作為應用程式與 LLM 供應商之間的代理伺服器。它會驗證請求、解析所需的供應商憑證、在發送請求前檢查預算，並在完成後記錄使用量。它使用 any-llm 函式庫來處理實際的供應商呼叫。

Who it’s for

它是為使用多個 LLM 供應商且需要集中式方式來處理身分驗證、成本控制與路由策略的開發者與組織所設計的。

Highlights

• Unified Endpoint: 提供超過 — 40 個供應商的單一 OpenAI 與 Anthropic 相容端點。
• Credential Management: 將供應商憑證安全地保留在閘道器後端。
• Capped Spending: 在結算後執行預算限制並追蹤使用量記錄。
• Flexible Routing: 支援用於故障轉移、權重分配與學習型選擇的本地路由策略。
• Access Control: 為使用者、工作區與模型提供具有範圍限制的、可撤銷的 API 金鑰。
• Extended Capabilities: 可選擇性支援程式碼執行、網頁搜尋、MCP、防護機制 (guardrails) 與檔案理解。