mozilla-ai/otari

解決的問題

Otari 解決了管理多個 LLM 提供商與控制成本的複雜性。您無需將各種 API 直接整合到應用程式中，而是使用單一端點來處理身分驗證、將請求路由到不同的提供商，並在任何支出發生之前執行預算限制。

工作原理

Otari 在您的應用程式與 LLM 提供商（如 OpenAI 或 Anthropic）之間充當代理伺服器。它提供與 OpenAI 相容的介面，這意味著您現有的用戶端程式碼可以將指向提供商改為指向 Otari。它使用路由引擎連接 40 多個提供商，為您的使用者管理虛擬 API 金鑰，並即時追蹤使用情況與支出。

適用對象

專為需要集中化其 AI 技術棧、在不向用戶端應用程式暴露憑證的情況下安全管理 API 憑證，以及在多個 LLM 模型中實施嚴格成本控制與使用情況監控的開發人員與組織而設計。

亮點

• 統一介面： 一個支援 40 多個提供商的 OpenAI 與 Anthropic API 格式的端點。
• 成本控制： 在處理請求之前執行針對每個使用者與每個金鑰的預算。
• 安全的憑證管理： 將提供商金鑰保留在受控環境中，向用戶端發放受限的虛擬金鑰。
• 可觀測性： 提供內建的使用情況追蹤與用於監控支出及模型的管理儀表板。
• 可擴充功能： 支援內建工具（如沙盒化的 Python 程式碼執行與網路搜尋）以及請求級護欄。